Towards Prompt Generalization: Grammar-aware Cross-Prompt Automated Essay Scoring

要約

自動エッセイスコアリング（AES）では、最近の取り組みが、実用的な適用性の目に見えないプロンプトのエッセイを獲得するクロスプロンプト設定にシフトしました。
ただし、特定のプロンプトのエッセイスコアペアで訓練された以前の方法は、迅速なエッセイ表現を取得する上で課題をもたらします。
この作業では、一般的なエッセイ表現を学ぶために迅速な非依存的な構文的側面を内部的にキャプチャする文法を意識したクロスプロムプト特性スコアリング（GAPS）を提案します。
文法エラー補正手法を介してエッセイで文法エラー補正情報を取得し、AESモデルを設計して、そのような情報をシームレスに統合します。
修正されたエッセイと元のエッセイの両方を内部的に言及することにより、モデルはトレーニング中に一般的な機能に焦点を当てることができます。
経験的実験は、我々の方法の一般化可能性を検証し、迅速な独立および文法関連の特性の顕著な改善を示します。
さらに、ギャップは、最も挑戦的なクロスプロンプトシナリオで顕著なQWKの利益を達成し、目に見えないプロンプトを評価する際の強みを強調しています。

要約(オリジナル)

In automated essay scoring (AES), recent efforts have shifted toward cross-prompt settings that score essays on unseen prompts for practical applicability. However, prior methods trained with essay-score pairs of specific prompts pose challenges in obtaining prompt-generalized essay representation. In this work, we propose a grammar-aware cross-prompt trait scoring (GAPS), which internally captures prompt-independent syntactic aspects to learn generic essay representation. We acquire grammatical error-corrected information in essays via the grammar error correction technique and design the AES model to seamlessly integrate such information. By internally referring to both the corrected and the original essays, the model can focus on generic features during training. Empirical experiments validate our method’s generalizability, showing remarkable improvements in prompt-independent and grammar-related traits. Furthermore, GAPS achieves notable QWK gains in the most challenging cross-prompt scenario, highlighting its strength in evaluating unseen prompts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google