Automated Knowledge Concept Annotation and Question Representation Learning for Knowledge Tracing

要約

ナレッジ トレーシング (KT) は、時間の経過に伴う生徒の学習の進歩をモデル化するための一般的なアプローチであり、よりパーソナライズされた適応的な学習を可能にします。
しかし、既存の KT アプローチは 2 つの大きな制限に直面しています。(1) 質問において専門家が定義した知識概念 (KC) に大きく依存しているため、時間がかかり、エラーが発生しやすくなります。
(2) KT メソッドは、質問と指定された KC の両方の意味論を見落とす傾向があります。
この研究では、これらの課題に対処し、既存の KT モデルの有効性を向上させることができる、自動化された知識概念の注釈と質問表現の学習のためのフレームワークである KCQRL を紹介します。
まず、大規模言語モデル (LLM) を使用した自動化された KC アノテーション プロセスを提案します。このプロセスでは、質問の解決策を生成し、質問の各解決ステップで KC にアノテーションを付けます。
2 番目に、質問と解決ステップの意味的に豊富な埋め込みを生成する対照的な学習アプローチを導入し、カスタマイズされた偽陰性排除アプローチを通じてそれらを関連する KC と調整します。
これらの埋め込みは既存の KT モデルに簡単に統合でき、ランダムに初期化された埋め込みを置き換えることができます。
私たちは、2 つの大規模な現実世界の数学学習データセット上の 15 KT アルゴリズムにわたる KCQRL の有効性を実証し、一貫したパフォーマンスの向上を達成しました。

要約(オリジナル)

Knowledge tracing (KT) is a popular approach for modeling students’ learning progress over time, which can enable more personalized and adaptive learning. However, existing KT approaches face two major limitations: (1) they rely heavily on expert-defined knowledge concepts (KCs) in questions, which is time-consuming and prone to errors; and (2) KT methods tend to overlook the semantics of both questions and the given KCs. In this work, we address these challenges and present KCQRL, a framework for automated knowledge concept annotation and question representation learning that can improve the effectiveness of any existing KT model. First, we propose an automated KC annotation process using large language models (LLMs), which generates question solutions and then annotates KCs in each solution step of the questions. Second, we introduce a contrastive learning approach to generate semantically rich embeddings for questions and solution steps, aligning them with their associated KCs via a tailored false negative elimination approach. These embeddings can be readily integrated into existing KT models, replacing their randomly initialized embeddings. We demonstrate the effectiveness of KCQRL across 15 KT algorithms on two large real-world Math learning datasets, where we achieve consistent performance improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google