Addressing Label Leakage in Knowledge Tracing Models

要約

知識トレース（KT）は、インテリジェントな個別指導システムの学習項目に関する学生の将来のパフォーマンスを予測することに関係しています。
学習アイテムには、知識概念（KC）と呼ばれるスキルラベルが付いています。
多くのKTモデルは、学習アイテムを構成的なKCに置き換えることにより、アイテムの学生相互作用のシーケンスをKC-学生の相互作用に拡張します。
このアプローチは、まばらなアイテムと学生の相互作用の問題に対処し、モデルパラメーターの数を最小限に抑えます。
ただし、このアプローチでラベル漏れの問題を特定しました。
同じアイテムに属するKC間の相関を学習するモデルの能力は、特にアイテムあたりのKCの数が多いデータセットで、パフォーマンスの低下につながるグラウンドトゥルースラベルの漏れをもたらす可能性があります。
このホワイトペーパーでは、知識トレース（KT）モデルのラベル漏れを防ぐ方法を紹介します。
これらの方法を利用するモデルバリアントは、一貫して元のカウンターパートを上回っています。
これにより、モデルのパフォーマンスに対するラベルの漏れの影響がさらに強調されます。
さらに、これらの方法はKTモデルの全体的なパフォーマンスを向上させ、1つのモデルバリアントが異なるベンチマークでテストされたすべてのベースラインを上回ります。
特に、当社の方法は多用途であり、幅広いKTモデルに適用できます。

要約(オリジナル)

Knowledge Tracing (KT) is concerned with predicting students’ future performance on learning items in intelligent tutoring systems. Learning items are tagged with skill labels called knowledge concepts (KCs). Many KT models expand the sequence of item-student interactions into KC-student interactions by replacing learning items with their constituting KCs. This approach addresses the issue of sparse item-student interactions and minimises the number of model parameters. However, we identified a label leakage problem with this approach. The model’s ability to learn correlations between KCs belonging to the same item can result in the leakage of ground truth labels, which leads to decreased performance, particularly on datasets with a high number of KCs per item. In this paper, we present methods to prevent label leakage in knowledge tracing (KT) models. Our model variants that utilize these methods consistently outperform their original counterparts. This further underscores the impact of label leakage on model performance. Additionally, these methods enhance the overall performance of KT models, with one model variant surpassing all tested baselines on different benchmarks. Notably, our methods are versatile and can be applied to a wide range of KT models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google