KIEval: Evaluation Metric for Document Key Information Extraction

要約

Document Key Information Extraction（KIE）は、ドキュメント画像の貴重な情報を構造化データに変換するテクノロジーであり、産業環境で重要な機能となっています。
ただし、このテクノロジーの現在の評価メトリックは、産業用アプリケーションの重要な属性を正確に反映していません。
この論文では、ドキュメントKIEモデルの新しいアプリケーション中心の評価メトリックであるKievalを紹介します。
以前のメトリックとは異なり、Kievalは、個々の情報（エンティティ）の抽出だけでなく、構造化された情報（グループ化）の抽出だけでなく、ドキュメントKIEモデルを評価します。
構造化された情報の評価は、産業用設定のドキュメントからグループ化された情報を抽出することをより反映したドキュメントKIEモデルの評価を提供します。
産業用途を念頭に置いて設計されたキーバルは、実際にドキュメントKIEモデルを開発または適用するための標準的な評価メトリックになることができると考えています。
コードは公開されます。

要約(オリジナル)

Document Key Information Extraction (KIE) is a technology that transforms valuable information in document images into structured data, and it has become an essential function in industrial settings. However, current evaluation metrics of this technology do not accurately reflect the critical attributes of its industrial applications. In this paper, we present KIEval, a novel application-centric evaluation metric for Document KIE models. Unlike prior metrics, KIEval assesses Document KIE models not just on the extraction of individual information (entity) but also of the structured information (grouping). Evaluation of structured information provides assessment of Document KIE models that are more reflective of extracting grouped information from documents in industrial settings. Designed with industrial application in mind, we believe that KIEval can become a standard evaluation metric for developing or applying Document KIE models in practice. The code will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google