Student Answer Forecasting: Transformer-Driven Answer Choice Prediction for Language Learning

要約

インテリジェント個別指導システム (ITS) は、生徒の答えを予測してカスタマイズされた指導を即時に提供することで、個別学習を強化します。
しかし、最近の研究は主に、特定の解答選択に対する生徒の成績ではなく、解答の正しさに焦点を当てており、生徒の思考プロセスや潜在的な誤解についての洞察が制限されています。
このギャップに対処するために、大規模言語モデル (LLM) の機能を活用して、質問と回答のテキストとともに学生の回答履歴の文脈上の理解を統合する回答予測モデルである MCQStudentBert を紹介します。
学生が選択する可能性が高い特定の回答の選択肢を予測することで、実践者は、モデルを再トレーニングすることなく、モデルを新しい回答の選択肢に拡張したり、同じ多肢選択質問 (MCQ) の回答の選択肢を削除したりすることが簡単にできます。
特に、MLP、LSTM、BERT、および Mistral 7B アーキテクチャを比較して、生徒の過去の対話から埋め込みを生成し、それを微調整された BERT の解答予測メカニズムに組み込みます。
私たちは、10,000 人を超える学生を含む ITS から収集された言語学習 MCQ のデータセットにパイプラインを適用し、正解予測や従来の習熟学習機能ベースのアプローチと比較して、学生の対話パターンを組み込んだ MCQStudentBert の予測精度を調査します。
この取り組みにより、よりパーソナライズされたコンテンツ、モジュール化、きめ細かなサポートへの扉が開かれます。

要約(オリジナル)

Intelligent Tutoring Systems (ITS) enhance personalized learning by predicting student answers to provide immediate and customized instruction. However, recent research has primarily focused on the correctness of the answer rather than the student’s performance on specific answer choices, limiting insights into students’ thought processes and potential misconceptions. To address this gap, we present MCQStudentBert, an answer forecasting model that leverages the capabilities of Large Language Models (LLMs) to integrate contextual understanding of students’ answering history along with the text of the questions and answers. By predicting the specific answer choices students are likely to make, practitioners can easily extend the model to new answer choices or remove answer choices for the same multiple-choice question (MCQ) without retraining the model. In particular, we compare MLP, LSTM, BERT, and Mistral 7B architectures to generate embeddings from students’ past interactions, which are then incorporated into a finetuned BERT’s answer-forecasting mechanism. We apply our pipeline to a dataset of language learning MCQ, gathered from an ITS with over 10,000 students to explore the predictive accuracy of MCQStudentBert, which incorporates student interaction patterns, in comparison to correct answer prediction and traditional mastery-learning feature-based approaches. This work opens the door to more personalized content, modularization, and granular support.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google