KTbench: A Novel Data Leakage-Free Framework for Knowledge Tracing

要約

ナレッジ トレーシング (KT) は、インテリジェントな個別指導システムの学習項目に対する生徒の将来の成績を予測することに関係しています。
学習項目には、知識概念 (KC) と呼ばれるスキル ラベルが付けられます。
多くの KT モデルは、学習項目をその構成 KC に置き換えることによって、一連の項目と生徒の相互作用を KC と生徒の相互作用に拡張します。
これにより、シーケンスの長さが長くなることがよくあります。
このアプローチは、アイテムと生徒の相互作用がまばらであるという問題に対処し、モデルのパラメーターを最小限に抑えます。
ただし、このようなモデルには 2 つの問題が確認されています。
最初の問題は、同じアイテムに属する KC 間の相関関係を学習するモデルの機能であり、これによりグランド トゥルース ラベルが漏洩し、パフォーマンスが妨げられる可能性があります。
この問題は、アイテムあたりの KC 数が多いデータセットのパフォーマンスの大幅な低下につながる可能性があります。
2 番目の問題は、利用可能なベンチマークの実装が KC を拡張する際のシーケンス長の変化の考慮を無視しているため、シーケンス長を変えて異なるモデルをテストしても同じベンチマークと比較することになることです。
これらの問題に対処するために、最初の問題を軽減し、大幅な変更を加えずに元のモデル アーキテクチャを維持しながら、そのような KT モデルのパフォーマンスを向上させる一般的なマスキング フレームワークを導入します。
さらに、2 番目の問題を軽減しながら、この作業の再現性を確保するように設計されたオープンソースのベンチマーク ライブラリである KTbench を紹介します。

要約(オリジナル)

Knowledge Tracing (KT) is concerned with predicting students’ future performance on learning items in intelligent tutoring systems. Learning items are tagged with skill labels called knowledge concepts (KCs). Many KT models expand the sequence of item-student interactions into KC-student interactions by replacing learning items with their constituting KCs. This often results in a longer sequence length. This approach addresses the issue of sparse item-student interactions and minimises model parameters. However, two problems have been identified with such models. The first problem is the model’s ability to learn correlations between KCs belonging to the same item, which can result in the leakage of ground truth labels and hinder performance. This problem can lead to a significant decrease in performance on datasets with a higher number of KCs per item. The second problem is that the available benchmark implementations ignore accounting for changes in sequence length when expanding KCs, leading to different models being tested with varying sequence lengths but still compared against the same benchmark. To address these problems, we introduce a general masking framework that mitigates the first problem and enhances the performance of such KT models while preserving the original model architecture without significant alterations. Additionally, we introduce KTbench, an open-source benchmark library designed to ensure the reproducibility of this work while mitigating the second problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google