Rubric-Specific Approach to Automated Essay Scoring with Augmentation Training

要約

主観的応答を自動評価するニューラル ベースのアプローチは、従来のルールベースおよび特徴エンジニアリング指向のソリューションと比較して、優れたパフォーマンスと効率性を示しています。
ただし、最近の研究では、モデルのトレーニングと検証中にエッセイの自動採点に不可欠なルーブリック項目が適切に説明されていないことがわかっているため、提案されたニューラル ソリューションが人間の評価者の十分な代替となるかどうかは依然として不明です。
この論文では、自動学生評価賞データセットで最先端のパフォーマンスを達成しながら、以前の研究では見落とされていた特徴や機能を学習するために自動採点モデルをトレーニングおよびテストする一連のデータ拡張操作を提案します。

要約(オリジナル)

Neural based approaches to automatic evaluation of subjective responses have shown superior performance and efficiency compared to traditional rule-based and feature engineering oriented solutions. However, it remains unclear whether the suggested neural solutions are sufficient replacements of human raters as we find recent works do not properly account for rubric items that are essential for automated essay scoring during model training and validation. In this paper, we propose a series of data augmentation operations that train and test an automated scoring model to learn features and functions overlooked by previous works while still achieving state-of-the-art performance in the Automated Student Assessment Prize dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google