‘My Grade is Wrong!’: A Contestable AI Framework for Interactive Feedback in Evaluating Student Essays

要約

教師と生徒の間で双方向にフィードバックが流れるインタラクティブなフィードバックは、従来の一方向のフィードバックよりも効果的です。
ただし、教育現場で広く使用するには時間がかかりすぎることがよくあります。
大規模言語モデル (LLM) にはフィードバックを自動化できる可能性がありますが、対話型設定での推論と対話には苦労します。
このペーパーでは、対話型フィードバックを自動化するための、Contestable AI Empowered LLM フレームワークである CAELF を紹介します。
CAELF を使用すると、マルチエージェント システムと計算論証を統合することで、学生がフィードバックを質問し、異議を唱え、明確にすることができます。
エッセイは最初に複数のティーチングアシスタントエージェント (TA エージェント) によって評価され、次に教師エージェントが形式的推論を通じて評価を集計し、フィードバックと成績を生成します。
学生はさらにフィードバックに参加して理解を深めます。
ユーザー調査を伴う 500 件の批判的思考エッセイのケーススタディでは、CAELF がインタラクティブなフィードバックを大幅に改善し、LLM の推論および対話能力を強化することが実証されています。
このアプローチは、教育現場での対話型フィードバックの導入を制限している時間とリソースの障壁を克服するための有望なソリューションを提供します。

要約(オリジナル)

Interactive feedback, where feedback flows in both directions between teacher and student, is more effective than traditional one-way feedback. However, it is often too time-consuming for widespread use in educational practice. While Large Language Models (LLMs) have potential for automating feedback, they struggle with reasoning and interaction in an interactive setting. This paper introduces CAELF, a Contestable AI Empowered LLM Framework for automating interactive feedback. CAELF allows students to query, challenge, and clarify their feedback by integrating a multi-agent system with computational argumentation. Essays are first assessed by multiple Teaching-Assistant Agents (TA Agents), and then a Teacher Agent aggregates the evaluations through formal reasoning to generate feedback and grades. Students can further engage with the feedback to refine their understanding. A case study on 500 critical thinking essays with user studies demonstrates that CAELF significantly improves interactive feedback, enhancing the reasoning and interaction capabilities of LLMs. This approach offers a promising solution to overcoming the time and resource barriers that have limited the adoption of interactive feedback in educational settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google