Do We Fully Understand Students’ Knowledge States? Identifying and Mitigating Answer Bias in Knowledge Tracing

要約

知識トレース (KT) は、概念関連の質問との学習相互作用を通じて、学生の進化する知識状態を監視することを目的としており、学生が将来の質問でどのような成績を収めるかを予測することで間接的に評価できます。
この論文では、回答の偏りという共通の現象、つまり各質問の正解と不正解が非常に不均衡に分布していることを観察しました。
既存のモデルは、KT で高い予測パフォーマンスを達成するための近道として回答のバイアスを記憶する傾向があり、そのため生徒の知識状態を完全に理解できません。
この問題に対処するために、因果関係の観点から KT タスクにアプローチします。
KT の因果グラフが最初に確立され、そこから、回答バイアスの影響が生徒の応答に対する質問の直接の因果関係にあることが特定されます。
KT のための新しい COunterfactual REasoning (CORE) フレームワークがさらに提案されます。これは、トレーニング中に全体的な因果効果と直接的な因果効果を別々に捕捉し、テスト中に前者から後者を差し引くことによって回答のバイアスを軽減します。
CORE フレームワークはさまざまな既存の KT モデルに適用でき、一般的な DKT、DKVMN、AKT モデルにそれぞれ基づいて実装されています。
3 つのベンチマーク データセットに対する広範な実験により、KT の偏りのない推論を行う際の CORE の有効性が実証されました。

要約(オリジナル)

Knowledge tracing (KT) aims to monitor students’ evolving knowledge states through their learning interactions with concept-related questions, and can be indirectly evaluated by predicting how students will perform on future questions. In this paper, we observe that there is a common phenomenon of answer bias, i.e., a highly unbalanced distribution of correct and incorrect answers for each question. Existing models tend to memorize the answer bias as a shortcut for achieving high prediction performance in KT, thereby failing to fully understand students’ knowledge states. To address this issue, we approach the KT task from a causality perspective. A causal graph of KT is first established, from which we identify that the impact of answer bias lies in the direct causal effect of questions on students’ responses. A novel COunterfactual REasoning (CORE) framework for KT is further proposed, which separately captures the total causal effect and direct causal effect during training, and mitigates answer bias by subtracting the latter from the former in testing. The CORE framework is applicable to various existing KT models, and we implement it based on the prevailing DKT, DKVMN, and AKT models, respectively. Extensive experiments on three benchmark datasets demonstrate the effectiveness of CORE in making the debiased inference for KT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google