Automated Knowledge Concept Annotation and Question Representation Learning for Knowledge Tracing

要約

知識トレース（KT）は、学生の学習の進捗状況を長期にわたってモデル化するための一般的なアプローチであり、よりパーソナライズされた適応学習を可能にすることができます。
ただし、既存のKTアプローチは2つの主要な制限に直面しています。（1）質問の専門家が定義された知識概念（KCS）に大きく依存しており、これは時間がかかり、エラーが発生しやすい。
（2）KTメソッドは、両方の質問と指定されたKCのセマンティクスを見落とす傾向があります。
この作業では、これらの課題に対処し、既存のKTモデルの有効性を改善できる自動化された知識コンセプトアノテーションと質問表現学習のフレームワークであるKCQRLを提示します。
まず、大規模な言語モデル（LLMS）を使用して自動化されたKCアノテーションプロセスを提案します。これは、質問ソリューションを生成し、質問の各ソリューションステップでKCを注釈します。
第二に、質問や解決策の手順のために意味的に豊富な埋め込みを生成するための対照的な学習アプローチを導入し、調整された偽陰性除去アプローチを介して関連するKCと整列します。
これらの埋め込みは、既存のKTモデルに容易に統合され、ランダムに初期化された埋め込みを置き換えることができます。
2つの大規模な現実世界の数学学習データセットで15 ktアルゴリズムにわたるKCQRLの有効性を実証し、一貫したパフォーマンスの改善を実現します。

要約(オリジナル)

Knowledge tracing (KT) is a popular approach for modeling students’ learning progress over time, which can enable more personalized and adaptive learning. However, existing KT approaches face two major limitations: (1) they rely heavily on expert-defined knowledge concepts (KCs) in questions, which is time-consuming and prone to errors; and (2) KT methods tend to overlook the semantics of both questions and the given KCs. In this work, we address these challenges and present KCQRL, a framework for automated knowledge concept annotation and question representation learning that can improve the effectiveness of any existing KT model. First, we propose an automated KC annotation process using large language models (LLMs), which generates question solutions and then annotates KCs in each solution step of the questions. Second, we introduce a contrastive learning approach to generate semantically rich embeddings for questions and solution steps, aligning them with their associated KCs via a tailored false negative elimination approach. These embeddings can be readily integrated into existing KT models, replacing their randomly initialized embeddings. We demonstrate the effectiveness of KCQRL across 15 KT algorithms on two large real-world Math learning datasets, where we achieve consistent performance improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google