SINKT: A Structure-Aware Inductive Knowledge Tracing Model with Large Language Model

要約

知識トレース (KT) は、生徒が次の質問に正しく応答するかどうかを判断することを目的としています。これは、インテリジェント個別指導システム (ITS) において重要なタスクです。
教育的な KT シナリオでは、トランスダクティブ ID ベースの手法は、深刻なデータの希薄性とコールド スタートの問題に直面することがよくあります。つまり、個々の生徒と質問の間のやり取りが希薄で、新しい質問や概念が常にデータベースに到着します。
さらに、既存の KT モデルは、概念と質問の間の相関関係を暗黙的に考慮するだけであり、概念と質問の異質なグラフにおけるより複雑な関係の直接的なモデル化が欠けています。
本稿では、初めて大規模言語モデル (LLM) を導入し、帰納的知識追跡を実現する、大規模言語モデルを備えた構造認識帰納的知識追跡モデル (SINKT と呼ばれる) を提案します。
まず、SINKT は LLM を利用して概念間の構造的関係を導入し、概念と質問の異種グラフを構築します。
次に、LLM を使用して概念と質問をエンコードすることにより、SINKT は予測を支援する意味論的な情報を組み込みます。
最後に、SINKT は、生徒の知識状態と質問の表現を操作することで、対象の質問に対する生徒の応答を予測します。
4 つの現実世界のデータセットでの実験により、SINKT が 12 の既存のトランスダクティブ KT モデルの中で最先端のパフォーマンスを達成することが実証されました。
さらに、帰納的 KT タスクにおける SINKT のパフォーマンスを調査し、さまざまなモジュールについての洞察を提供します。

要約(オリジナル)

Knowledge Tracing (KT) aims to determine whether students will respond correctly to the next question, which is a crucial task in intelligent tutoring systems (ITS). In educational KT scenarios, transductive ID-based methods often face severe data sparsity and cold start problems, where interactions between individual students and questions are sparse, and new questions and concepts consistently arrive in the database. In addition, existing KT models only implicitly consider the correlation between concepts and questions, lacking direct modeling of the more complex relationships in the heterogeneous graph of concepts and questions. In this paper, we propose a Structure-aware Inductive Knowledge Tracing model with large language model (dubbed SINKT), which, for the first time, introduces large language models (LLMs) and realizes inductive knowledge tracing. Firstly, SINKT utilizes LLMs to introduce structural relationships between concepts and constructs a heterogeneous graph for concepts and questions. Secondly, by encoding concepts and questions with LLMs, SINKT incorporates semantic information to aid prediction. Finally, SINKT predicts the student’s response to the target question by interacting with the student’s knowledge state and the question representation. Experiments on four real-world datasets demonstrate that SINKT achieves state-of-the-art performance among 12 existing transductive KT models. Additionally, we explore the performance of SINKT on the inductive KT task and provide insights into various modules.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google