Forgetting-aware Linear Bias for Attentive Knowledge Tracing

要約

ナレッジ トレーシング (KT) は、質問の解決履歴に基づいて習熟度を追跡することを目的としており、合理的なカリキュラムを提供できます。
最近の研究では、注意ベースのメカニズムを積極的に利用して質問間の相関関係を捉え、それを学習者の応答特性と組み合わせています。
しかし、私たちの実証研究では、既存の注意ベースの KT モデルは、特に対話履歴が長くなるにつれて、学習者の忘却行動を無視していることが示されています。
この問題は、質問の相関関係を過度に優先し、忘れる行為の影響を不用意に無視するバイアスから発生します。
この論文では、忘却行動を線形バイアスとして反映する、シンプルかつ効果的なソリューション、すなわち忘却認識線形バイアス (FoLiBi) を提案します。
FoLiBi は、そのシンプルさにもかかわらず、質問と忘却行動の相関関係を効果的に分解することで、既存の注意深い KT モデルを容易に装備できます。
FoLiBi に複数の KT モデルを組み込むと、4 つのベンチマーク データセットで最先端の KT モデルと比較して AUC が最大 2.58% 一貫して向上しました。

要約(オリジナル)

Knowledge Tracing (KT) aims to track proficiency based on a question-solving history, allowing us to offer a streamlined curriculum. Recent studies actively utilize attention-based mechanisms to capture the correlation between questions and combine it with the learner’s characteristics for responses. However, our empirical study shows that existing attention-based KT models neglect the learner’s forgetting behavior, especially as the interaction history becomes longer. This problem arises from the bias that overprioritizes the correlation of questions while inadvertently ignoring the impact of forgetting behavior. This paper proposes a simple-yet-effective solution, namely Forgetting-aware Linear Bias (FoLiBi), to reflect forgetting behavior as a linear bias. Despite its simplicity, FoLiBi is readily equipped with existing attentive KT models by effectively decomposing question correlations with forgetting behavior. FoLiBi plugged with several KT models yields a consistent improvement of up to 2.58% in AUC over state-of-the-art KT models on four benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google