Assertion Enhanced Few-Shot Learning: Instructive Technique for Large Language Models to Generate Educational Explanations

要約

人間の教育者は、生徒からの教育的な説明を予測し、求める本質的な能力を持っており、生徒がこれらの説明を独自に明確に表現できない場合、その能力が考えさせられる質問を投げかけます。
私たちは、大規模言語モデルの数ショット学習機能を使用して、インテリジェント個別指導システムにこの機能を組み込むことを目指しています。
私たちの研究では、正確で詳細な指向の教育的説明の生成を促進する、新しいプロンプト手法であるアサーション強化された少数ショット学習を提案しています。
私たちの中心的な仮説は、教育領域では、数ショットのデモンストレーションは必要ですが、質の高い説明を生成するための十分条件ではないということです。
私たちは 12 人の現職教師を対象とした調査を実施し、従来のフューショット学習と私たちのアプローチを比較しました。
その結果、教師による評価によると、アサーション強化された少数ショット学習により、説明の精度が 15% 向上し、より質の高い説明が得られることがわかりました。
また、アサーションの影響を考慮に入れる定性的アブレーション研究も実施し、教育者が関心のある分野で説明を生成するための、教育者に優しいガイドラインを提供します。

要約(オリジナル)

Human educators possess an intrinsic ability to anticipate and seek educational explanations from students, which drives them to pose thought-provoking questions when students cannot articulate these explanations independently. We aim to imbue Intelligent Tutoring Systems with this ability using few-shot learning capability of Large Language Models. Our work proposes a novel prompting technique, Assertion Enhanced Few-Shot Learning, to facilitate the generation of accurate, detailed oriented educational explanations. Our central hypothesis is that, in educational domain, few-shot demonstrations are necessary but not a sufficient condition for quality explanation generation. We conducted a study involving 12 in-service teachers, comparing our approach to Traditional Few-Shot Learning. The results show that Assertion Enhanced Few-Shot Learning improves explanation accuracy by 15% and yields higher-quality explanations, as evaluated by teachers. We also conduct a qualitative ablation study to factor the impact of assertions to provide educator-friendly prompting guidelines for generating explanations in their domain of interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google