Exploring Automated Distractor Generation for Math Multiple-choice Questions via Large Language Models

要約

多肢選択問題 (MCQ) は、管理や採点が簡単で、評価や実践において信頼できる形式であるため、ほぼすべてのレベルの教育で広く普及しています。
MCQ の最も重要な側面の 1 つは、気を散らすもの、つまり、実際の生徒によくある間違いや誤解をターゲットにするように設計された間違った選択肢です。
現在までのところ、高品質の気を散らすものを作成する作業は、依然として教師や学習コンテンツ デザイナーにとって労力と時間のかかるプロセスであり、拡張性が限られています。
この研究では、数学 MCQ の領域におけるディストラクターの自動生成タスクを研究し、コンテキスト内学習から微調整まで、大規模言語モデル (LLM) ベースのさまざまなアプローチを調査します。
私たちは、現実世界の数学 MCQ データセットを使用して広範な実験を行った結果、LLM は数学的に有効な注意をそらす要素を生成することはできるものの、実際の生徒によくある間違いや誤解を予測することにはあまり熟練していないことがわかりました。

要約(オリジナル)

Multiple-choice questions (MCQs) are ubiquitous in almost all levels of education since they are easy to administer, grade, and are a reliable format in assessments and practices. One of the most important aspects of MCQs is the distractors, i.e., incorrect options that are designed to target common errors or misconceptions among real students. To date, the task of crafting high-quality distractors largely remains a labor and time-intensive process for teachers and learning content designers, which has limited scalability. In this work, we study the task of automated distractor generation in the domain of math MCQs and explore a wide variety of large language model (LLM)-based approaches, from in-context learning to fine-tuning. We conduct extensive experiments using a real-world math MCQ dataset and find that although LLMs can generate some mathematically valid distractors, they are less adept at anticipating common errors or misconceptions among real students.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google