Towards LLM-based Autograding for Short Textual Answers

要約

試験の採点は重要で、労力がかかり、主観的で反復的で、しばしば困難な作業です。
ChatGPT などの大規模言語モデル (LLM) の利用可能性とデジタル化による大量のデータ流入のおかげで、テキスト応答の自動採点の実現可能性が大幅に高まりました。
ただし、AI モデルに意思決定の役割を委ねると、主に潜在的なバイアスや誤った情報の生成に関連する問題に起因して、倫理的考慮事項が生じます。
したがって、この原稿では、自動採点を目的とした大規模な言語モデルの評価を提供すると同時に、LLM が教育者による採点手順の検証をどのようにサポートできるかについても強調します。
私たちの評価は、さまざまな言語と 2 つの異なるコースからの試験にまたがる自動短文解答採点 (ASAG) を対象としています。
私たちの調査結果は、「すぐに使える」LLM は補完的な視点を提供する貴重なツールを提供しますが、独立した自動グレーディングの準備はまだ進行中であり、人間の監視が必要であることを示唆しています。

要約(オリジナル)

Grading exams is an important, labor-intensive, subjective, repetitive, and frequently challenging task. The feasibility of autograding textual responses has greatly increased thanks to the availability of large language models (LLMs) such as ChatGPT and the substantial influx of data brought about by digitalization. However, entrusting AI models with decision-making roles raises ethical considerations, mainly stemming from potential biases and issues related to generating false information. Thus, in this manuscript, we provide an evaluation of a large language model for the purpose of autograding, while also highlighting how LLMs can support educators in validating their grading procedures. Our evaluation is targeted towards automatic short textual answers grading (ASAG), spanning various languages and examinations from two distinct courses. Our findings suggest that while ‘out-of-the-box’ LLMs provide a valuable tool to provide a complementary perspective, their readiness for independent automated grading remains a work in progress, necessitating human oversight.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google