Revisiting Table Detection Datasets for Visually Rich Documents

要約

表の検出は、電子文書の数が急増するにつれて、文書を視覚的に豊かに理解するための基本的なタスクとなっています。
ただし、関連研究で広く使用されている一般的な公開データセットには、ノイズが多く一貫性のないサンプル、限られたトレーニング サンプル、限られたデータ ソースなど、固有の制限があります。
これらの制限により、これらのデータセットはモデルのパフォーマンスを評価する上で信頼性が低くなり、モデルの実際の容量を反映できなくなります。
したがって、この研究では、高品質のアノテーションを備えたいくつかのオープン データセットを再検討し、ノイズを特定して除去し、これらのデータセットのアノテーション定義を調整して、オープン テーブルと呼ばれるより大きなデータセットを結合します。
さらに、データソースを充実させるために、情報通信技術（ICT）商品のPDFファイルを使用した新しいICT-TDデータセットを提案します。これは、オープンデータセットにはほとんど現れないユニークなサンプルを含む別のドメインです。
データセットのラベル品質を確保するために、分野専門家の指導に従って手動でデータセットに注釈を付けました。
提案されたデータセットは挑戦的であり、ビジネスのコンテキストにおける実際のケースのサンプルとなる可能性があります。
私たちは、さまざまな最先端の物体検出モデルを使用して強力なベースラインを構築しました。
私たちの実験結果は、データ ソースが異なるにもかかわらず、既存のオープン データセット間のドメインの違いがわずかであることを示しています。
私たちが提案する Open-Tables と ICT-TD は、高品質で一貫したアノテーションを備えているため、モデルに対してより信頼性の高い評価を提供できます。
さらに、クロスドメイン設定により適しています。
私たちの実験結果は、クロスドメイン設定では、クリーンな Open-Tables データセットでトレーニングされたベンチマーク モデルが、ノイズの多いバージョンの Open-Tables でトレーニングされた対応するベンチマーク モデルよりも 0.6\%-2.6\% 高い加重平均 F1 を達成できることを示しています。
提案されたデータセットの信頼性。
データセットは公開されています。

要約(オリジナル)

Table Detection has become a fundamental task for visually rich document understanding with the surging number of electronic documents. However, popular public datasets widely used in related studies have inherent limitations, including noisy and inconsistent samples, limited training samples, and limited data sources. These limitations make these datasets unreliable to evaluate the model performance and cannot reflect the actual capacity of models. Therefore, this study revisits some open datasets with high-quality annotations, identifies and cleans the noise, and aligns the annotation definitions of these datasets to merge a larger dataset, termed Open-Tables. Moreover, to enrich the data sources, we propose a new ICT-TD dataset using the PDF files of Information and Communication Technologies (ICT) commodities, a different domain containing unique samples that hardly appear in open datasets. To ensure the label quality of the dataset, we annotated the dataset manually following the guidance of a domain expert. The proposed dataset is challenging and can be a sample of actual cases in the business context. We built strong baselines using various state-of-the-art object detection models. Our experimental results show that the domain differences among existing open datasets are minor despite having different data sources. Our proposed Open-Tables and ICT-TD can provide a more reliable evaluation for models because of their high quality and consistent annotations. Besides, they are more suitable for cross-domain settings. Our experimental results show that in the cross-domain setting, benchmark models trained with cleaned Open-Tables dataset can achieve 0.6\%-2.6\% higher weighted average F1 than the corresponding ones trained with the noisy version of Open-Tables, demonstrating the reliability of the proposed datasets. The datasets are public available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google