From Explanations to Action: A Zero-Shot, Theory-Driven LLM Framework for Student Performance Feedback

要約

教育向けの eXplainable AI (XAI) の最近の進歩により、教育者や学生などの技術者以外のユーザーにも最先端の AI モデルの説明を確実に理解できるようにするという重要な課題が浮き彫りになっています。
これに応えて、Miller の説明の認知モデルにインスピレーションを得た、ゼロショット、プロンプトの連鎖 LLM-XAI パイプラインである iLLuMinaTE を紹介します。
ILLuMinaTE は、オンライン コースで理論に基づいた実用的なフィードバックを学生に提供するように設計されています。
ILLuMinaTE は、8 つの社会科学理論 (異常な状態、パールの説明モデル、必要性と堅牢性の選択、対照的な説明など) から派生したバリエーションを使用して、因果関係、説明の選択、説明の提示という 3 つの主要な段階をナビゲートします。
私たちは、3 つの異なるオンライン コースの学生を対象に、3 つの LLM (GPT-4o、Gemma2-9B、Llama3-70B) から抽出された iLLuMinaTE の 21,915 個の自然言語説明を、3 つの異なる基礎となる XAI メソッド (LIME、Counterfactuals、MC-LIME) を使用して広範囲に評価しています。
。
私たちの評価には、社会科学理論との説明の整合性、説明の理解しやすさ、および新しい実用性シミュレーションを含む 114 人の大学生による実際のユーザーの好みの調査の分析が含まれます。
学生は 89.52% の確率で従来の説明者よりも iLLuMinaTE の説明を好むことがわかりました。
私たちの取り組みは、教育におけるハイブリッド XAI 主導の洞察を効果的に伝達するための堅牢ですぐに使えるフレームワークを提供し、他の人間中心の分野にも大きな一般化の可能性をもたらします。

要約(オリジナル)

Recent advances in eXplainable AI (XAI) for education have highlighted a critical challenge: ensuring that explanations for state-of-the-art AI models are understandable for non-technical users such as educators and students. In response, we introduce iLLuMinaTE, a zero-shot, chain-of-prompts LLM-XAI pipeline inspired by Miller’s cognitive model of explanation. iLLuMinaTE is designed to deliver theory-driven, actionable feedback to students in online courses. iLLuMinaTE navigates three main stages – causal connection, explanation selection, and explanation presentation – with variations drawing from eight social science theories (e.g. Abnormal Conditions, Pearl’s Model of Explanation, Necessity and Robustness Selection, Contrastive Explanation). We extensively evaluate 21,915 natural language explanations of iLLuMinaTE extracted from three LLMs (GPT-4o, Gemma2-9B, Llama3-70B), with three different underlying XAI methods (LIME, Counterfactuals, MC-LIME), across students from three diverse online courses. Our evaluation involves analyses of explanation alignment to the social science theory, understandability of the explanation, and a real-world user preference study with 114 university students containing a novel actionability simulation. We find that students prefer iLLuMinaTE explanations over traditional explainers 89.52% of the time. Our work provides a robust, ready-to-use framework for effectively communicating hybrid XAI-driven insights in education, with significant generalization potential for other human-centric fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google