Embracing Imperfection: Simulating Students with Diverse Cognitive Levels Using LLM-based Agents

要約

大規模な言語モデル（LLM）は教育に革命をもたらし、LLMベースのエージェントは学生の行動をシミュレートする上で重要な役割を果たしています。
学生シミュレーションの主な課題は、さまざまな認知レベルでの学生の多様な学習パターンをモデル化することです。
ただし、通常、「役立つアシスタント」として訓練されている現在のLLMは、完全な応答を生成するターゲットです。
その結果、彼らは多様な認知能力を持つ学生をシミュレートするのに苦労しています。彼らはしばしば過度に高度な答えを生み出し、学生の学習を特徴付ける自然な欠陥を欠いており、非現実的なシミュレーションをもたらします。
この問題に対処するために、学生シミュレーションのためのトレーニングなしのフレームワークを提案します。
まず、知識グラフを使用して各生徒に認知プロトタイプを構築することから始めます。これは、過去の学習記録からの概念の理解を捉えています。
このプロトタイプは、学生のパフォーマンスを予測するために新しいタスクにマッピングされます。
次に、これらの予測に基づいて学生ソリューションをシミュレートし、ビーム検索方法を使用してそれらを反復的に改良し、現実的な間違いをよりよく複製します。
アプローチを検証するために、Pythonプログラミングに取り組んでいる100ドルの学生と5,000ドルの学習記録で構成される\ TextTT {Student \ _100}データセットを構築します。
実験結果は、私たちの方法がベースラインモデルを一貫して上回り、シミュレーションの精度を100ドル\％$ $改善することを示しています。

要約(オリジナル)

Large language models (LLMs) are revolutionizing education, with LLM-based agents playing a key role in simulating student behavior. A major challenge in student simulation is modeling the diverse learning patterns of students at various cognitive levels. However, current LLMs, typically trained as “helpful assistants”, target at generating perfect responses. As a result, they struggle to simulate students with diverse cognitive abilities, as they often produce overly advanced answers, missing the natural imperfections that characterize student learning and resulting in unrealistic simulations. To address this issue, we propose a training-free framework for student simulation. We begin by constructing a cognitive prototype for each student using a knowledge graph, which captures their understanding of concepts from past learning records. This prototype is then mapped to new tasks to predict student performance. Next, we simulate student solutions based on these predictions and iteratively refine them using a beam search method to better replicate realistic mistakes. To validate our approach, we construct the \texttt{Student\_100} dataset, consisting of $100$ students working on Python programming and $5,000$ learning records. Experimental results show that our method consistently outperforms baseline models, achieving $100\%$ improvement in simulation accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google