Information Redundancy and Biases in Public Document Information Extraction Benchmarks

要約

タイトル：公開文書情報抽出ベンチマークにおける情報冗長性とバイアス

要約：
– 最近では、視覚的に豊かな文書理解分野、特に主要情報抽出（KIE）タスクでは、LayoutLMモデルなどの効率的なTransformerベースのアプローチが登場しています。
– KIEモデルは、公共ベンチマークでfine-tunedすると良好なパフォーマンスを示しますが、十分な文書注釈がない複雑なリアルライフのユースケースに一般化することはまだ困難です。
– 本研究では、SROIEとFUNSDなどのKIE標準ベンチマークには、トレーニングとテストドキュメントの間に著しい類似性があることが分かり、モデルの一般化能力をより適切に評価するために調整することができることを示しました。
– 公開ベンチマークの情報冗長性を定量化するための実験を設計し、SROIE公式テストセットでは75%のテンプレート複製があり、FUNSDでは16%であることを明らかにしました。
– また、より一般化能力のあるモデルを提供するための再サンプリング戦略を提案しました。調整された分割では、文書分析に向いていないモデルが平均でSROIEで10.5% F1スコア、FUNSDで3.5% F1スコアを下げる一方、マルチモーダルモデルはSROIEで7.5% F1、FUNSDで0.5% F1しか下がらないことを示しました。

要約(オリジナル)

Advances in the Visually-rich Document Understanding (VrDU) field and particularly the Key-Information Extraction (KIE) task are marked with the emergence of efficient Transformer-based approaches such as the LayoutLM models. Despite the good performance of KIE models when fine-tuned on public benchmarks, they still struggle to generalize on complex real-life use-cases lacking sufficient document annotations. Our research highlighted that KIE standard benchmarks such as SROIE and FUNSD contain significant similarity between training and testing documents and can be adjusted to better evaluate the generalization of models. In this work, we designed experiments to quantify the information redundancy in public benchmarks, revealing a 75% template replication in SROIE official test set and 16% in FUNSD. We also proposed resampling strategies to provide benchmarks more representative of the generalization ability of models. We showed that models not suited for document analysis struggle on the adjusted splits dropping on average 10,5% F1 score on SROIE and 3.5% on FUNSD compared to multi-modal models dropping only 7,5% F1 on SROIE and 0.5% F1 on FUNSD.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI