HiTSKT: A Hierarchical Transformer Model for Session-Aware Knowledge Tracing

要約

ナレッジ トレーシング (KT) は、生徒の学習履歴を活用して、事前に定義された一連のスキルの習熟レベルを推定し、それに基づいて、対応する将来のパフォーマンスを正確に予測することを目的としています。
オンライン教育にパーソナライズされた体験を提供する重要な方法として、KT は近年ますます注目を集めています。
実際には、生徒の学習履歴は、単に一連の独立した回答ではなく、それぞれがセッションとして知られる集合的な質問のセットに対する回答で構成されています。
理論的には、これらのセッション内およびセッション間で、学生の学習ダイナミクスは大きく異なる可能性があります。
したがって、KT 問題を処理するには、セッション内およびセッション全体にわたる学生の知識状態のダイナミクスを効果的にモデル化する方法が重要です。
既存の KT モデルのほとんどは、学生の知識状態のセッションごとの変化を捉えることなく、学生の学習記録を単一の連続したシーケンスとして扱います。
上記の問題に対処するために、我々は、HiTSKT という名前の新しい階層型トランスフォーマー モデルを提案します。このモデルは、学生がセッション内で取得した知識をキャプチャするインタラクション (レベル) エンコーダーと、学生全体で取得した知識を要約するセッション (レベル) エンコーダーで構成されます。
過去のセッション。
現在のセッションでのインタラクションを予測するために、ナレッジ リトリーバーは、要約された過去のセッションの知識と以前のインタラクションの情報を統合して、適切な知識表現を作成します。
これらの表現は、生徒の現在の知識状態を計算するために使用されます。
さらに、セッション全体にわたる生徒の長期的な忘却行動をモデル化するために、べき乗則減衰注意メカニズムが設計され、セッション エンコーダーに導入され、最近のセッションをより強調できるようになります。
3 つの公開データセットでの広範な実験により、HiTSKT が 6 つの最先端の KT モデルと比較して、すべてのデータセットで新しい最先端のパフォーマンスを達成することが実証されました。

要約(オリジナル)

Knowledge tracing (KT) aims to leverage students’ learning histories to estimate their mastery levels on a set of pre-defined skills, based on which the corresponding future performance can be accurately predicted. As an important way of providing personalized experience for online education, KT has gained increased attention in recent years. In practice, a student’s learning history comprises answers to sets of massed questions, each known as a session, rather than merely being a sequence of independent answers. Theoretically, within and across these sessions, students’ learning dynamics can be very different. Therefore, how to effectively model the dynamics of students’ knowledge states within and across the sessions is crucial for handling the KT problem. Most existing KT models treat student’s learning records as a single continuing sequence, without capturing the sessional shift of students’ knowledge state. To address the above issue, we propose a novel hierarchical transformer model, named HiTSKT, comprises an interaction(-level) encoder to capture the knowledge a student acquires within a session, and a session(-level) encoder to summarise acquired knowledge across the past sessions. To predict an interaction in the current session, a knowledge retriever integrates the summarised past-session knowledge with the previous interactions’ information into proper knowledge representations. These representations are then used to compute the student’s current knowledge state. Additionally, to model the student’s long-term forgetting behaviour across the sessions, a power-law-decay attention mechanism is designed and deployed in the session encoder, allowing it to emphasize more on the recent sessions. Extensive experiments on three public datasets demonstrate that HiTSKT achieves new state-of-the-art performance on all the datasets compared with six state-of-the-art KT models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google