Leveraging generative artificial intelligence to simulate student learning behavior

要約

学生シミュレーションは、学習成果を向上させ、教育研究を前進させ、最終的には効果的な教育学の未来を形作るための革新的なアプローチを提供します。
私たちは、AI における顕著な成果である大規模言語モデル (LLM) を使用して、学生の学習行動をシミュレートする実現可能性を調査します。
従来の機械学習ベースの予測とは異なり、LLM を活用して特定の人口統計を持つ仮想学生をインスタンス化し、学習体験、コース教材、理解レベル、エンゲージメントの間の複雑な相関関係を明らかにします。
私たちの目的は、単に学習結果を予測することではなく、実際の生徒の学習行動とパターンを再現することです。
この仮説を 3 つの実験を通じて検証します。
最初の実験は、N = 145 のデータセットに基づいて、人口統計データから生徒の学習結果をシミュレートし、さまざまな人口統計的要因に関して実際の生徒との類似点を明らかにしました。
2 番目の実験 (N = 4524) では、仮想学生モデリングの評価履歴が増え、より現実的なシミュレーション行動が得られます。
事前知識とコースの相互作用を組み込んだ 3 番目の実験 (N = 27) は、仮想学生の学習行動と、テスト問題、コース教材、取り組みおよび理解レベルからのきめ細かいマッピングとの間に強い関連性があることを示しています。
これらの発見を総合すると、LLM についての理解が深まり、学生シミュレーションに対する LLM の実行可能性が実証され、より適応性の高いカリキュラム設計が可能になり、包括性と教育効果が向上します。

要約(オリジナル)

Student simulation presents a transformative approach to enhance learning outcomes, advance educational research, and ultimately shape the future of effective pedagogy. We explore the feasibility of using large language models (LLMs), a remarkable achievement in AI, to simulate student learning behaviors. Unlike conventional machine learning based prediction, we leverage LLMs to instantiate virtual students with specific demographics and uncover intricate correlations among learning experiences, course materials, understanding levels, and engagement. Our objective is not merely to predict learning outcomes but to replicate learning behaviors and patterns of real students. We validate this hypothesis through three experiments. The first experiment, based on a dataset of N = 145, simulates student learning outcomes from demographic data, revealing parallels with actual students concerning various demographic factors. The second experiment (N = 4524) results in increasingly realistic simulated behaviors with more assessment history for virtual students modelling. The third experiment (N = 27), incorporating prior knowledge and course interactions, indicates a strong link between virtual students’ learning behaviors and fine-grained mappings from test questions, course materials, engagement and understanding levels. Collectively, these findings deepen our understanding of LLMs and demonstrate its viability for student simulation, empowering more adaptable curricula design to enhance inclusivity and educational effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google