Can Language Models Evaluate Human Written Text? Case Study on Korean Student Writing for Education

要約

大規模言語モデル (LLM) ベースの評価パイプラインは、機械生成されたテキストを堅牢に評価する機能を実証しています。
この方法論を人間が書いたテキストを評価するために拡張すると、ライティングスキルを向上させるために直接フィードバックを提供できるため、教育現場に大きな利益をもたらす可能性がありますが、この応用は簡単ではありません。
この論文では、LLM が教育目的で人間が書いたテキストを効果的に評価できるかどうかを調査します。
私たちは 32 人の韓国人学生から 15 種類の文章について 100 の文章を収集し、GPT-4-Turbo を使用して文法性、流暢さ、一貫性、一貫性、関連性を基準として評価しました。
私たちの分析によると、LLM 評価者は他の基準や種類の文章には苦労するものの、文法性と流暢さ、さらにはより客観的な種類の文章を確実に評価できることがわかりました。
私たちはデータセットとフィードバックを一般に公開します。

要約(オリジナル)

Large language model (LLM)-based evaluation pipelines have demonstrated their capability to robustly evaluate machine-generated text. Extending this methodology to assess human-written text could significantly benefit educational settings by providing direct feedback to enhance writing skills, although this application is not straightforward. In this paper, we investigate whether LLMs can effectively assess human-written text for educational purposes. We collected 100 texts from 32 Korean students across 15 types of writing and employed GPT-4-Turbo to evaluate them using grammaticality, fluency, coherence, consistency, and relevance as criteria. Our analyses indicate that LLM evaluators can reliably assess grammaticality and fluency, as well as more objective types of writing, though they struggle with other criteria and types of writing. We publicly release our dataset and feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google