H-AES: Towards Automated Essay Scoring for Hindi

要約

Automated Essay Scoring (AES) のための自然言語処理 (NLP) の使用は、英語で十分に調査されており、ベンチマーク モデルは人間の採点者に匹敵するパフォーマンスを示しています。
ただし、ヒンディー語やその他のリソースの少ない言語での AES は未踏のままです。
この研究では、ヒンディー語ドメインでの AES の最先端の方法を再現して比較します。
私たちのアプローチでは、古典的な機能ベースの機械学習 (ML) と高度なエンドツーエンド モデル (LSTM Networks や Fine-Tuned Transformer Architecture など) を採用し、英語のドメインに匹敵する結果を導き出しています。
ヒンディー語はリソースの少ない言語であるため、専用のエッセイ採点コーパスがありません。
翻訳された英語のエッセイを使用してモデルのトレーニングと評価を行い、小規模な実世界のヒンディー語コーパスでモデルのパフォーマンスを経験的に測定します。
実装されているさまざまな言語モデルのプロンプト固有の動作について説明する詳細な分析で、これをフォローアップします。

要約(オリジナル)

The use of Natural Language Processing (NLP) for Automated Essay Scoring (AES) has been well explored in the English language, with benchmark models exhibiting performance comparable to human scorers. However, AES in Hindi and other low-resource languages remains unexplored. In this study, we reproduce and compare state-of-the-art methods for AES in the Hindi domain. We employ classical feature-based Machine Learning (ML) and advanced end-to-end models, including LSTM Networks and Fine-Tuned Transformer Architecture, in our approach and derive results comparable to those in the English language domain. Hindi being a low-resource language, lacks a dedicated essay-scoring corpus. We train and evaluate our models using translated English essays and empirically measure their performance on our own small-scale, real-world Hindi corpus. We follow this up with an in-depth analysis discussing prompt-specific behavior of different language models implemented.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google