针对在线学习系统中时序认知诊断的概率框架
A Probabilistic Framework for Temporal Cognitive Diagnosis in Online Learning Systems
-
摘要:研究背景 认知诊断（Cognitive Diagnosis）在医疗、游戏、教育等现实场景中是一项基础且重要的任务。特别的，在智能教育系统中，认知诊断常被用于识别学生在学习过程中的状态。它旨在通过学生历史答题记录，分析他们在微观层面的知识状态和技能水平，如在各个知识点上的掌握程度。依据诊断结果，学生可以发现自己薄弱的知识点，而教学者能为不同学生提供针对性的指导意见，如推荐相关的试题、教学资源等，实现因材施教。因此，认知诊断方法是实现个性化、智能化教育的重要课题，而如何准确地实施认知诊断是一个关键的问题。目的 本文的目的是建立适用于在线学习场景的认知诊断框架，该场景下学生作答过程中的时序性与随机性是两个重要因素。具体而言，在线学习场景中学生的状态会随时间演变，因此需要从时序（temporality）的角度考虑学生的作答记录。同时，学生状态演变具有随机性（randomness），并不能以确定性的方式如曲线、规则或神经网络描述其变化过程。 当前先进的模型如TIRT,T-SKIRT仅在模型推断时引入上述两个因素，采用不一致的训练-推断过程。本文希望提出一致（unified）的诊断框架，同时在训练参数与推断状态方法中建模上述因素。方法 论文首先从学生状态演变过程的特点出发，分析不同时刻认知状态之间的关系，提出“学生能力演化服从维纳过程（Wiener process）”假设，同时建模了状态变化的时序性与随机性。随后，论文针对上述复杂概率图模型的训练过程，依据学生实际作答过程，提出“k时刻的作答记录对诊断k时刻认知状态的作用最大”的假设，从另一角度加强对时序性的建模，并解决了期望最大化（Expectation Maximization, EM）算法中M步难以估计的问题，基于此实现了统一训练过程与推断过程的目标。最后，我们证明了提出的框架（UTIRT）具有更好的泛化性，传统方法如IRT,MIRT和TIRT均是其特例。结果 在两个在线教育数据集上，我们从三个角度设计了多组实验，对比10个基线模型，我们的框架取得了更高的准确率和更低的错误率。从认知状态诊断角度，本方法准确率（ACC）提升了0.8%—10.1%，同时分别在ASSIST, Junyi数据集上获得了最优的AUC（提升0.3%—11.4%）和RMSE（降低0.2%—5.2%）。通过对实验结果的进一步分析，我们发现本方法在序列性更强的数据集上的提升更为明显，同时，考虑知识点关系、合理选择超参数也能改善认知诊断结果。 从作答预测角度，本方法获得了最优的ACC（提升0.5%—9.9%）和AUC（提升0.1%—12.2%）。上述结果从多个角度验证了时序性、随机性因素的有效性。从时序性使用分析角度，我们通过假设检验验证了不统一的训练、推断过程会带来潜在假设上的矛盾（两个数据集上的p值分别为4.61×10–6，6.08×10–3）。同时，基于不同“保留长度”的记录序列实施诊断时，UTIRT的预测准确度始终明显优于TIRT，更好地验证了统一训练、推断过程的重要性。结论 针对在线学习场景，本文提出了一种同时建模学生能力变化过程中时序性和随机性的UTIRT框架。实验结果表明，时序性与随机性对认知诊断结果具有显著影响。我们观察到，引入这两种因素均能更好地从答题序列中捕捉学生状态变化信息，从而准确地诊断学生的认知状态。其他因素如框架一致性、知识点关系、超参数选择也对诊断效果有重要的影响。此外，我们讨论了其他可能的改进，如利用学生对同一题目的多次尝试、提示的使用和作答时间等数据更准确地建模学生认知状态变化过程。Abstract: Cognitive diagnosis is an important issue of intelligent education systems, which aims to estimate students’ proficiency on specific knowledge concepts. Most existing studies rely on the assumption of static student states and ignore the dynamics of proficiency in the learning process, which makes them unsuitable for online learning scenarios. In this paper, we propose a unified temporal item response theory (UTIRT) framework, incorporating temporality and randomness of proficiency evolving to get both accurate and interpretable diagnosis results. Specifically, we hypothesize that students’ proficiency varies as a Wiener process and describe a probabilistic graphical model in UTIRT to consider temporality and randomness factors. Furthermore, based on the relationship between student states and exercising answers, we hypothesize that the answering result at time k contributes most to inferring a student's proficiency at time k, which also reflects the temporality aspect and enables us to get analytical maximization (M-step) in the expectation maximization (EM) algorithm when estimating model parameters. Our UTIRT is a framework containing unified training and inferencing methods, and is general to cover several typical traditional models such as Item Response Theory (IRT), multidimensional IRT (MIRT), and temporal IRT (TIRT). Extensive experimental results on real-world datasets show the effectiveness of UTIRT and prove its superiority in leveraging temporality theoretically and practically over TIRT.
下载: