Improve LLM-based Automatic Essay Scoring with Linguistic Features

要約

自動エッセイスコアリング（AES）は、スコアを学生のエッセイに割り当て、インストラクターのグレーディングワークロードを削減します。
さまざまなプロンプト全体でエッセイを処理できるスコアリングシステムを開発することは、執筆タスクの柔軟性と多様な性質のために挑戦的です。
既存の方法は通常、2つのカテゴリに分類されます：監視された機能ベースのアプローチと大規模言語モデル（LLM）ベースの方法。
監視された機能ベースのアプローチは、多くの場合、より高いパフォーマンスを実現しますが、リソース集約型のトレーニングが必要です。
対照的に、LLMベースの方法は、推論中に計算上効率的ですが、パフォーマンスの低下に苦しむ傾向があります。
このペーパーでは、言語機能をLLMベースのスコアリングに組み込むことにより、これらのアプローチを組み合わせています。
実験結果は、このハイブリッド方式が、ドメイン内およびドメイン外の執筆プロンプトの両方のベースラインモデルよりも優れていることを示しています。

要約(オリジナル)

Automatic Essay Scoring (AES) assigns scores to student essays, reducing the grading workload for instructors. Developing a scoring system capable of handling essays across diverse prompts is challenging due to the flexibility and diverse nature of the writing task. Existing methods typically fall into two categories: supervised feature-based approaches and large language model (LLM)-based methods. Supervised feature-based approaches often achieve higher performance but require resource-intensive training. In contrast, LLM-based methods are computationally efficient during inference but tend to suffer from lower performance. This paper combines these approaches by incorporating linguistic features into LLM-based scoring. Experimental results show that this hybrid method outperforms baseline models for both in-domain and out-of-domain writing prompts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google