End-to-End Document Classification and Key Information Extraction using Assignment Optimization

要約

フォームでの文書処理を自動化するための、エンドツーエンドの文書分類とキー情報抽出 (KIE) を提案します。
正確なドキュメント分類を通じて、テンプレートからの既知の情報を利用して、フォームからの KIE を強化します。
コサイン類似度測定によるテキストとレイアウトのエンコードを使用して、視覚的に類似したドキュメントを分類します。
次に、割り当ての最適化を使用して文書から重要な情報を抽出することによる、混合整数計画法の新しいアプリケーションを示します。
私たちのアプローチは、ノイズの多いスキャンされたフォームの社内データセットで検証されています。
最もパフォーマンスの高い文書分類アプローチは、0.97 f1 スコアを達成しました。
KIE タスクの平均 f1 スコアが 0.94 であることは、最適化手法を適用することに大きな可能性があることを示唆しています。
Abation の結果は、この方法がタイプ II エラーを軽減し、最適なパフォーマンスを達成するために文書前処理技術に依存していることを示しています。

要約(オリジナル)

We propose end-to-end document classification and key information extraction (KIE) for automating document processing in forms. Through accurate document classification we harness known information from templates to enhance KIE from forms. We use text and layout encoding with a cosine similarity measure to classify visually-similar documents. We then demonstrate a novel application of mixed integer programming by using assignment optimization to extract key information from documents. Our approach is validated on an in-house dataset of noisy scanned forms. The best performing document classification approach achieved 0.97 f1 score. A mean f1 score of 0.94 for the KIE task suggests there is significant potential in applying optimization techniques. Abation results show that the method relies on document preprocessing techniques to mitigate Type II errors and achieve optimal performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google