Reading Order Independent Metrics for Information Extraction in Handwritten Documents

要約

手書き文書の情報抽出プロセスは、自動転写の取得と、その転写に対する固有表現認識 (NER) の実行に依存する傾向があります。
このため、一般に公開されているデータセットでは、システムのパフォーマンスは通常、各データセットに固有の指標を使用して評価されます。
さらに、採用されているメトリクスのほとんどは、読み取り順序エラーの影響を受けやすいです。
したがって、これらはシステムの予想される最終的なアプリケーションを反映しておらず、より複雑なドキュメントにバイアスが生じます。
この論文では、手書き文書の情報抽出評価に合わせた、読む順序に依存しない一連の指標を提案し、公開します。
私たちの実験では、メトリクスの動作を詳細に分析して、タスクを正しく評価するための最小のメトリクス セットと考えられるものを推奨します。

要約(オリジナル)

Information Extraction processes in handwritten documents tend to rely on obtaining an automatic transcription and performing Named Entity Recognition (NER) over such transcription. For this reason, in publicly available datasets, the performance of the systems is usually evaluated with metrics particular to each dataset. Moreover, most of the metrics employed are sensitive to reading order errors. Therefore, they do not reflect the expected final application of the system and introduce biases in more complex documents. In this paper, we propose and publicly release a set of reading order independent metrics tailored to Information Extraction evaluation in handwritten documents. In our experimentation, we perform an in-depth analysis of the behavior of the metrics to recommend what we consider to be the minimal set of metrics to evaluate a task correctly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google