From Model to Classroom: Evaluating Generated MCQs for Portuguese with Narrative and Difficulty Concerns

要約

MCQは学習と評価に役立ちますが、さまざまな難易度とターゲットを絞ったリーディングスキルで手動でそれらを作成することは、時間がかかり、費用のかかるタスクのままです。
生成AIの最近の進歩は、MCQ生成を効率的に自動化する機会を提供します。
ただし、生成されたMCQの実際の品質と信頼性を評価することは、特に生成が失敗する場合に関して、限られた注意を払っています。
この側面は、生成されたMCQが実際の設定で適用されることを意図している場合に特に重要になります。
さらに、ほとんどのMCQ世代の研究は英語に焦点を当てており、他の言語は掘り下げられていません。
このペーパーでは、形態学的に豊富な言語であるポルトガル語で、読解力のためにMCQを生産する際の現在の生成モデルの能力を調査します。
私たちの研究は、カリキュラムに関連する物語要素に合わせて、さまざまな難易度レベルに合わせたMCQを生成することに焦点を当てています。
専門家のレビューを通じて、学生の応答から抽出された心理測定特性を分析して、小学生への適合性を評価することにより、これらのMCQを評価します。
我々の結果は、現在のモデルが人間の著者と同等の品質のMCQを生成できることを示しています。
ただし、セマンティックの明確さと回答性に関連する問題を特定します。
また、学生を関与させ、高品質のMCQオプション設計の確立された基準を満たすディストラクタを生成する課題は残っています。

要約(オリジナル)

While MCQs are valuable for learning and evaluation, manually creating them with varying difficulty levels and targeted reading skills remains a time-consuming and costly task. Recent advances in generative AI provide an opportunity to automate MCQ generation efficiently. However, assessing the actual quality and reliability of generated MCQs has received limited attention — particularly regarding cases where generation fails. This aspect becomes particularly important when the generated MCQs are meant to be applied in real-world settings. Additionally, most MCQ generation studies focus on English, leaving other languages underexplored. This paper investigates the capabilities of current generative models in producing MCQs for reading comprehension in Portuguese, a morphologically rich language. Our study focuses on generating MCQs that align with curriculum-relevant narrative elements and span different difficulty levels. We evaluate these MCQs through expert review and by analyzing the psychometric properties extracted from student responses to assess their suitability for elementary school students. Our results show that current models can generate MCQs of comparable quality to human-authored ones. However, we identify issues related to semantic clarity and answerability. Also, challenges remain in generating distractors that engage students and meet established criteria for high-quality MCQ option design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google