Exploring Iterative Enhancement for Improving Learnersourced Multiple-Choice Question Explanations with Large Language Models

要約

大規模な言語モデルは、言語の処理と理解において優れた能力を示しますが、教育現場での応用はまだ十分に検討されていません。
ラーナーソーシングは、学生を独自の教育コンテンツの作成に参加させることで学習を強化します。
学習者が多肢選択問題を学習する場合、問題の解決策の説明を作成することは重要なステップです。
他の学生が解決策を理解するのに役立ち、関連する概念のより深い理解を促進します。
しかし、主題の理解が限られているため、学生が効果的な解決策の説明を作成するのは難しいことがよくあります。
自動説明生成タスクの足場を築くために、与えられた質問に対して生成された説明を大規模な言語モデルで繰り返し強化する「ILearner-LLM」と呼ばれるフレームワークを提示して評価します。
このフレームワークは説明生成モデルと説明評価モデルで構成され、評価モデルからの品質評価スコアを説明生成モデルの指示プロンプトに繰り返しフィードバックすることで、生徒に合わせた高品質の説明を生成します。
実験結果は、LLaMA2-13B および GPT-4 での ILearner-LLM の有効性を実証し、5 つの PeerWise データセットについて学生が書いたものに近い高品質な説明を生成します。
私たちの発見は、学生の学習者調達エクスペリエンスを豊かにし、教育アプリケーション向けの大規模な言語モデルの機能を強化するための有望な道筋を示しています。

要約(オリジナル)

Large language models exhibit superior capabilities in processing and understanding language, yet their applications in educational contexts remain underexplored. Learnersourcing enhances learning by engaging students in creating their own educational content. When learnersourcing multiple-choice questions, creating explanations for the solution of a question is a crucial step; it helps other students understand the solution and promotes a deeper understanding of related concepts. However, it is often difficult for students to craft effective solution explanations, due to limited subject understanding. To help scaffold the task of automated explanation generation, we present and evaluate a framework called ‘ILearner-LLM’, that iteratively enhances the generated explanations for the given questions with large language models. Comprising an explanation generation model and an explanation evaluation model, the framework generates high-quality student-aligned explanations by iteratively feeding the quality rating score from the evaluation model back into the instruction prompt of the explanation generation model. Experimental results demonstrate the effectiveness of our ILearner-LLM on LLaMA2-13B and GPT-4 to generate higher quality explanations that are closer to those written by students on five PeerWise datasets. Our findings represent a promising path to enrich the learnersourcing experience for students and to enhance the capabilities of large language models for educational applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google