DLUE: Benchmarking Document Language Understanding

要約

ドキュメントを理解することは、現実世界の多くのタスクの中心ですが、依然として難しい課題です。
残念ながら、文書理解能力を包括的に評価する方法について十分に確立されたコンセンサスはなく、このことがこの分野の公正な比較と進歩の測定を著しく妨げています。
本稿では、文書理解研究のベンチマークとして、文書分類、文書構造分析、文書情報抽出、文書転写という4つの代表的な能力をまとめた。
新しい評価フレームワークの下で、さまざまな形式、ドメイン、文書ジャンルの幅広いタスクをカバーする新しいタスク スイートである \textbf{文書言語理解評価} — \textbf{DLUE} を提案します。
また、DLUE 上で確立された 6 つのトランスフォーマー モデルを系統的に評価したところ、内容が長く、基礎となる構造が複雑で、知識が分散しているため、文書の理解はいまだ解決されておらず、現在、すべてのタスクを支配するニューラル アーキテクチャが存在しないことがわかりました。
普遍的な文書理解アーキテクチャの要件を提起します。

要約(オリジナル)

Understanding documents is central to many real-world tasks but remains a challenging topic. Unfortunately, there is no well-established consensus on how to comprehensively evaluate document understanding abilities, which significantly hinders the fair comparison and measuring the progress of the field. To benchmark document understanding researches, this paper summarizes four representative abilities, i.e., document classification, document structural analysis, document information extraction, and document transcription. Under the new evaluation framework, we propose \textbf{Document Language Understanding Evaluation} — \textbf{DLUE}, a new task suite which covers a wide-range of tasks in various forms, domains and document genres. We also systematically evaluate six well-established transformer models on DLUE, and find that due to the lengthy content, complicated underlying structure and dispersed knowledge, document understanding is still far from being solved, and currently there is no neural architecture that dominates all tasks, raising requirements for a universal document understanding architecture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google