simpleKT: A Simple But Tough-to-Beat Baseline for Knowledge Tracing

要約

ナレッジ トレーシング (KT) は、インテリジェントな個別指導システムとの過去のやり取りに基づいて、生徒の将来のパフォーマンスを予測する問題です。
最近、モデル アーキテクチャ、敵対的拡張などのさまざまな観点からディープ ニューラル ネットワークを KT に適用するための多くの特別な方法が多くの研究で提示されており、アルゴリズムとシステム全体がますます複雑になっています。
さらに、標準化された評価プロトコル \citep{liu2022pykt} がないため、広く合意された KT ベースラインがなく、公開された実験的比較は一貫性がなく、自己矛盾しています。つまり、ASSISTments2009 で報告された DKT の AUC スコアは 0.721 から 0.821 の範囲です \
citep{minn2018deep,yeung2018addressing}.
したがって、この論文では、\textsc{simpleKT} という名前の KT タスクを処理するための強力でシンプルなベースライン メソッドを提供します。
心理測定学の Rasch モデルに着想を得て、質問固有のバリエーションを明示的にモデル化して、学習者がタスクまたはタスクのステップを達成するために必要な概念またはスキルの用語の一般化である知識コンポーネントの同じセットをカバーする質問間の個人差を捉えます。
問題。
さらに、洗練された表現を使用して学生の忘却行動を捉える代わりに、通常のドット積アテンション関数を使用して、学生の学習相互作用に埋め込まれた時間認識情報を抽出します。
大規模な実験により、このような単純なベースラインは常に AUC スコアで上位 3 位にランク付けされ、異なるドメインの 7 つの公開データセットで 12 の DLKT ベースライン メソッドに対して 57 勝、3 引き分け、16 敗を達成できることが示されています。
この研究は、将来の KT 研究の強力なベースラインとして役立つと信じています。
コードは \url{https://github.com/pykt-team/pykt-toolkit} で入手できます\footnote{モデルを \url{https://pykt.org/ の \textsc{pyKT} ベンチマークにマージしました
}.}.

要約(オリジナル)

Knowledge tracing (KT) is the problem of predicting students’ future performance based on their historical interactions with intelligent tutoring systems. Recently, many works present lots of special methods for applying deep neural networks to KT from different perspectives like model architecture, adversarial augmentation and etc., which make the overall algorithm and system become more and more complex. Furthermore, due to the lack of standardized evaluation protocol \citep{liu2022pykt}, there is no widely agreed KT baselines and published experimental comparisons become inconsistent and self-contradictory, i.e., the reported AUC scores of DKT on ASSISTments2009 range from 0.721 to 0.821 \citep{minn2018deep,yeung2018addressing}. Therefore, in this paper, we provide a strong but simple baseline method to deal with the KT task named \textsc{simpleKT}. Inspired by the Rasch model in psychometrics, we explicitly model question-specific variations to capture the individual differences among questions covering the same set of knowledge components that are a generalization of terms of concepts or skills needed for learners to accomplish steps in a task or a problem. Furthermore, instead of using sophisticated representations to capture student forgetting behaviors, we use the ordinary dot-product attention function to extract the time-aware information embedded in the student learning interactions. Extensive experiments show that such a simple baseline is able to always rank top 3 in terms of AUC scores and achieve 57 wins, 3 ties and 16 loss against 12 DLKT baseline methods on 7 public datasets of different domains. We believe this work serves as a strong baseline for future KT research. Code is available at \url{https://github.com/pykt-team/pykt-toolkit}\footnote{We merged our model to the \textsc{pyKT} benchmark at \url{https://pykt.org/}.}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google