Handwriting recognition and automatic scoring for descriptive answers in Japanese language tests

要約

本稿は、2017年と2018年に約12万人の受験生を対象に実施された新しい大学入学共通テストの試行試験において、手書きの記述式答案を自動採点する実験を紹介する。2,000万字以上の答案は約40万件ある。
すべての回答は人間の試験官によって採点されていますが、手書きの文字にはラベルが付けられていません。
ラベル付き手書きデータセットでトレーニングされたディープ ニューラル ネットワーク ベースの手書き認識機能を、このラベルなしの回答セットに適応させる試みを紹介します。
私たちが提案する方法は、さまざまなトレーニング戦略を組み合わせ、複数の認識エンジンをアンサンブルし、大規模な一般コーパスから構築された言語モデルを使用して、特定のデータへの過剰適合を回避します。
私たちの実験では、提案された方法は、データセットの 0.5% 未満を占める約 2,000 件の検証済みのラベル付き回答を使用して、97% 以上の文字精度を記録しました。
次に、認識された回答は、誤認識された文字の修正やルーブリックの注釈の提供を行わずに、BERT モデルに基づく事前トレーニング済みの自動採点システムに入力されます。
自動スコアリング システムは、Quadratic Weighted Kappa (QWK) の 0.84 ～ 0.98 を達成します。
QWK は 0.8 を超えているため、自動採点システムと人間の試験官の間の採点の許容可能な類似性を表します。
これらの結果は、記述的回答のエンドツーエンドの自動採点に関するさらなる研究に有望です。

要約(オリジナル)

This paper presents an experiment of automatically scoring handwritten descriptive answers in the trial tests for the new Japanese university entrance examination, which were made for about 120,000 examinees in 2017 and 2018. There are about 400,000 answers with more than 20 million characters. Although all answers have been scored by human examiners, handwritten characters are not labeled. We present our attempt to adapt deep neural network-based handwriting recognizers trained on a labeled handwriting dataset into this unlabeled answer set. Our proposed method combines different training strategies, ensembles multiple recognizers, and uses a language model built from a large general corpus to avoid overfitting into specific data. In our experiment, the proposed method records character accuracy of over 97% using about 2,000 verified labeled answers that account for less than 0.5% of the dataset. Then, the recognized answers are fed into a pre-trained automatic scoring system based on the BERT model without correcting misrecognized characters and providing rubric annotations. The automatic scoring system achieves from 0.84 to 0.98 of Quadratic Weighted Kappa (QWK). As QWK is over 0.8, it represents an acceptable similarity of scoring between the automatic scoring system and the human examiners. These results are promising for further research on end-to-end automatic scoring of descriptive answers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google