Investigating Automatic Scoring and Feedback using Large Language Models

要約

自動採点とフィードバックは、言語モデルを使用した従来の機械学習および深層学習技術を使用して長い間研究されてきました。
LLaMA-2 のような高性能大規模言語モデル (LLM) が最近利用できるようになったことで、自動採点とフィードバック生成のためのこれらの LLM の使用を調査する機会が生まれました。
パフォーマンスが向上しているにもかかわらず、LLM は、そのようなタスクのパフォーマンスを向上させるための微調整や追加の特定の調整に大量の計算リソースを必要とします。
これらの問題に対処するために、LoRA や QLoRA などの Parameter Efficient Fine-tuning (PEFT) 手法が採用され、モデルの微調整におけるメモリと計算の要件が削減されました。
この論文では、短答や作文に連続数値成績を自動的に割り当て、対応するフィードバックを生成するために LLM を微調整するための、分類または回帰ヘッドを使用した PEFT ベースの量子化モデルの有効性を検討します。
私たちは、タスクのために独自のデータセットとオープンソースのデータセットの両方で実験を実施しました。
結果は、微調整された LLM による成績スコアの予測が非常に正確であり、平均して成績パーセンテージの誤差が 3% 未満であることを示しています。
段階的なフィードバックを提供するため、微調整された 4 ビット量子化 LLaMA-2 13B モデルは、競合するベース モデルよりも優れたパフォーマンスを発揮し、高い BLEU および ROUGE スコアと定性的なフィードバックの点で主題の専門家のフィードバックとの高い類似性を達成します。
この研究の結果は、比較的低いコストと遅延での自動短答採点やフィードバック生成など、さまざまな下流タスク向けに LLM を微調整するための量子化アプローチの使用による新たな機能の影響について、重要な洞察を提供します。

要約(オリジナル)

Automatic grading and feedback have been long studied using traditional machine learning and deep learning techniques using language models. With the recent accessibility to high performing large language models (LLMs) like LLaMA-2, there is an opportunity to investigate the use of these LLMs for automatic grading and feedback generation. Despite the increase in performance, LLMs require significant computational resources for fine-tuning and additional specific adjustments to enhance their performance for such tasks. To address these issues, Parameter Efficient Fine-tuning (PEFT) methods, such as LoRA and QLoRA, have been adopted to decrease memory and computational requirements in model fine-tuning. This paper explores the efficacy of PEFT-based quantized models, employing classification or regression head, to fine-tune LLMs for automatically assigning continuous numerical grades to short answers and essays, as well as generating corresponding feedback. We conducted experiments on both proprietary and open-source datasets for our tasks. The results show that prediction of grade scores via finetuned LLMs are highly accurate, achieving less than 3% error in grade percentage on average. For providing graded feedback fine-tuned 4-bit quantized LLaMA-2 13B models outperform competitive base models and achieve high similarity with subject matter expert feedback in terms of high BLEU and ROUGE scores and qualitatively in terms of feedback. The findings from this study provide important insights into the impacts of the emerging capabilities of using quantization approaches to fine-tune LLMs for various downstream tasks, such as automatic short answer scoring and feedback generation at comparatively lower costs and latency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google