In educational practice, teachers often need to manually assemble an exercise collection as a class quiz or a homework assignment. A well-assembled exercise collection needs to have the proper difficulty index and discrimination index so that it can better develop the students' abilities. In this paper, we propose an exercise collection auto-assembling framework, in which the teacher provides the target values of difficulty and discrimination indices and a qualified exercise collection is automatically assembled. The framework consists of two stages. At the answer prediction stage, a knowledge tracing model is utilized to predict the students' answers to unseen exercises based on their history interaction records. In addition, to better represent the exercises in the model, we propose exercise embeddings and design a pre-training approach. At the collection assembling stage, we propose a deep reinforcement learning model to assemble the required exercise collection effectively. Since the knowledge tracing model in the first stage has different confidence in the predicted answers, it is also taken into account in the objective. Experiment results show the effectiveness and efficiency of the proposed framework.

中文摘要：

1、研究背景
在线教育平台中，教师会经常需要给学生布置家庭作业或进行测验，一般由多道习题组成，本文将其称为习题集。传统情况下习题集需要由教师从平台的习题库中手动挑选若干道习题而生成，这需要消耗教师的大量时间，同时也不利于学生在平台上开展自主学习。因此，研究习题集的自动生成问题对解决在线教育平台中习题集组装代价高的问题具有重要意义。
2、研究目的
在教学实践中，难度与区分度是衡量习题集的重要指标。难度值表示了习题集的困难程度，区分度值则体现了习题集在高分组学生与低分组学生上的难度差距大小。因此，在本文介绍的习题集自动组装任务中，教师除了给定习题集中的习题数量外，还给出了目标难度值与目标区分度值作为待组装习题集的约束，组装的习题集应当尽可能满足教师的约束。 在习题集自动组装问题中，教师给定习题集中的习题数量以及习题集的目标难度值与区分度值，生成框架需要从候选习题集合中选择出符合数量要求的若干道习题组成习题集，并且满足该习题集在被目标学生集合作为家庭作业或测验做过之后的真实难度与区分度与教师给定的目标值尽量接近。
3、研究方法
本文提出的习题集自动组装框架主要分为两个阶段：答案预测阶段和习题选择阶段。在答案预测阶段，本文使用一个知识追踪模型来预测每名学生对候选习题集合中每道习题的回答正确性，这些预测值将被进一步参与估计习题集的难度与区分度。在这一阶段，本文提出了在知识追踪模型中为每道习题添加一个对应的嵌入向量以增强对习题特征的描述，同时提出了该嵌入向量的预训练模型以加速知识追踪模型的收敛。在答案预测阶段，本文引入了答案预测置信度的概念来减少知识追踪模型的错误预测对习题集组装的影响，同时使用一个深度强化学习模型来高效地选择习题从而生成符合要求的习题集。
4、研究结果
实验表明，本文提出的习题集自动组装框架提出的习题嵌入向量与预训练模型使得框架在答案预测阶段相比于已有的知识追踪模型在预测准确率上提高了约3%~6%。在习题选择阶段组装的最终习题集的难度与区分度的与查询参数的平均误差约在0.02左右，相比基线算法提升约50%。
5、研究结论
本文主要研究了习题集自动组装问题，其目标为组装一个包含一定数量习题的习题集，且在目标学生集合上习题集的难度与区分度要极可能接近教师的需求。本文提出了一个基于知识追踪与强化学习的习题集自动组装框架，该框架通过答案预测和习题选择两阶段来解决此问题。首先，使用追踪模型来预测目标学生集合中的学生对候选习题的答案正确性。同时，本章还引入了习题嵌入向量以添加到追踪模型中用于增强对习题特征的表示，并提出了习题嵌入向量的预训练模型。随后，框架使用一个深度强化学习模型来从候选习题中选择并根据预测的学生答案组装最终的习题集。实验表明，本文提出的习题集自动组装框架可以被用于有效且高效地自动组装合格的习题集。

Key words: exercise collection; knowledge tracing; reinforcement learning;