Automated Distractor and Feedback Generation for Math Multiple-choice Questions via In-context Learning

要約

多肢選択問題 (MCQ) は、管理、採点が簡単で、信頼できる評価形式であるため、ほぼすべてのレベルの教育で広く普及しています。
MCQ の重要な側面は、気を散らすもの、つまり、生徒の特定の誤解や不十分な知識をターゲットにするように設計された誤った選択肢です。
これまで、高品質の気を散らすものを作成する作業は、教師や学習コンテンツ デザイナーにとって大部分が労働集約的なプロセスであり、拡張性が限られていました。
この研究では、大規模な言語モデルを使用した数学 MCQ における自動ディストラクタとそれに対応するフィードバック メッセージ生成のタスクを調査します。
これら 2 つのタスクの定式化を確立し、コンテキスト内の学習ベースのシンプルなソリューションを提案します。
さらに、フィードバック メッセージの品質を評価するための生成 AI ベースの指標を提案します。
私たちは、現実世界の MCQ データセットを使用して、これらのタスクについて広範な実験を実施します。
私たちの調査結果は、ディストラクターとフィードバックの自動生成には改善の余地がたくさんあることを示唆しています。
これらの調査結果に基づいて、今後の作業のいくつかの方向性を概説します。

要約(オリジナル)

Multiple-choice questions (MCQs) are ubiquitous in almost all levels of education since they are easy to administer, grade, and are a reliable form of assessment. An important aspect of MCQs is the distractors, i.e., incorrect options that are designed to target specific misconceptions or insufficient knowledge among students. To date, the task of crafting high-quality distractors has largely remained a labor-intensive process for teachers and learning content designers, which has limited scalability. In this work, we explore the task of automated distractor and corresponding feedback message generation in math MCQs using large language models. We establish a formulation of these two tasks and propose a simple, in-context learning-based solution. Moreover, we propose generative AI-based metrics for evaluating the quality of the feedback messages. We conduct extensive experiments on these tasks using a real-world MCQ dataset. Our findings suggest that there is a lot of room for improvement in automated distractor and feedback generation; based on these findings, we outline several directions for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google