How Adding Metacognitive Requirements in Support of AI Feedback in Practice Exams Transforms Student Learning Behaviors

要約

大規模な学部のSTEMコースで規模でパーソナライズされた詳細なフィードバックを提供することは、依然として永続的な課題です。
AI生成されたフィードバックをターゲットを絞った教科書参照と統合する経験的に評価された実践試験システムを提示し、大規模な入門生物学コースに展開します。
私たちのシステムは、学生に答えを説明し、自信を宣言するように依頼することにより、メタ認知行動を奨励しています。
OpenaiのGPT-4Oを使用して、この情報に基づいてパーソナライズされたフィードバックを生成し、関連する教科書セクションに指示します。
3つの中期（それぞれ541、342、および413人の学生）にわたる同意の参加者からの相互作用ログ、146の学習目標にわたって合計28,313の質問と学生の相互作用が、279の調査と23のインタビューとともに、学習の結果とエンゲージメントへのシステムの影響を調べました。
すべての中期にわたって、フィードバックタイプは統計的に有意なパフォーマンスの違いを示しませんでしたが、一部の傾向は潜在的な利点を示唆していました。
最も大きな影響は、必要な信頼評価と説明から生じたものであり、学生は実際の試験戦略に転送したと報告しました。
学生の約40％が、フィードバックによってプロンプトされた場合、教科書の参照に従事していました。
調査データにより、高い満足度（平均評価4.1の5）が明らかになり、82.1％が実践された中間トピックに対する信頼性が高まり、73.4％が特定の概念を思い出して適用できることを示しています。
我々の調査結果は、構造化された反射要件を埋め込むことは、洗練されたフィードバックメカニズムよりも影響を与える可能性があることを示唆しています。

要約(オリジナル)

Providing personalized, detailed feedback at scale in large undergraduate STEM courses remains a persistent challenge. We present an empirically evaluated practice exam system that integrates AI generated feedback with targeted textbook references, deployed in a large introductory biology course. Our system encourages metacognitive behavior by asking students to explain their answers and declare their confidence. It uses OpenAI’s GPT-4o to generate personalized feedback based on this information, while directing them to relevant textbook sections. Through interaction logs from consenting participants across three midterms (541, 342, and 413 students respectively), totaling 28,313 question-student interactions across 146 learning objectives, along with 279 surveys and 23 interviews, we examined the system’s impact on learning outcomes and engagement. Across all midterms, feedback types showed no statistically significant performance differences, though some trends suggested potential benefits. The most substantial impact came from the required confidence ratings and explanations, which students reported transferring to their actual exam strategies. About 40 percent of students engaged with textbook references when prompted by feedback — far higher than traditional reading rates. Survey data revealed high satisfaction (mean rating 4.1 of 5), with 82.1 percent reporting increased confidence on practiced midterm topics, and 73.4 percent indicating they could recall and apply specific concepts. Our findings suggest that embedding structured reflection requirements may be more impactful than sophisticated feedback mechanisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google