A Chain-of-Thought Prompting Approach with LLMs for Evaluating Students’ Formative Assessment Responses in Science

要約

この論文では、幼稚園から高校までの科学における短答評価を採点し、説明するための大規模言語モデル (LLM) の使用について検討します。
既存の方法では、より構造化された数学およびコンピューター サイエンスの評価を採点することができますが、スコアの説明が提供されていないことがよくあります。
私たちの研究は、中学校の地学における自動評価に GPT-4 を採用することに焦点を当てており、少数ショット学習とアクティブ学習を思考連鎖推論と組み合わせています。
人間参加型のアプローチを使用して、形成的な評価の回答をスコアリングし、有意義な説明を提供することに成功しました。
私たちの方法の長所と短所を体系的に分析することで、オープンエンド科学評価の自動採点を強化する人間参加型技術の可能性が明らかになります。

要約(オリジナル)

This paper explores the use of large language models (LLMs) to score and explain short-answer assessments in K-12 science. While existing methods can score more structured math and computer science assessments, they often do not provide explanations for the scores. Our study focuses on employing GPT-4 for automated assessment in middle school Earth Science, combining few-shot and active learning with chain-of-thought reasoning. Using a human-in-the-loop approach, we successfully score and provide meaningful explanations for formative assessment responses. A systematic analysis of our method’s pros and cons sheds light on the potential for human-in-the-loop techniques to enhance automated grading for open-ended science assessments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google