Unifying Vision, Text, and Layout for Universal Document Processing

要約

ユニバーサル ドキュメント プロセッシング (UDOP) を提案します。UDOP は、ドキュメントの理解と生成を含むさまざまなタスク形式と共に、テキスト、画像、およびレイアウト モダリティを統合するドキュメント AI モデルの基盤です。
UDOP は、テキスト コンテンツとドキュメント イメージの間の空間的相関関係を利用して、イメージ、テキスト、およびレイアウト モダリティを 1 つの統一された表現でモデル化します。
新しい Vision-Text-Layout Transformer を使用して、UDOP は事前トレーニングとマルチドメイン ダウンストリーム タスクをプロンプトベースのシーケンス生成スキームに統合します。
UDOP は、革新的な自己教師付き目標と多様なラベル付きデータを使用して、大規模なラベルなしドキュメント コーパスの両方で事前トレーニングされています。
UDOP は、マスクされた画像の再構成を介して、テキストおよびレイアウト モダリティからドキュメント画像を生成することも学習します。
私たちの知る限りでは、ドキュメント AI の分野で、1 つのモデルが高品質のニューラル ドキュメント編集とコンテンツのカスタマイズを同時に実現するのはこれが初めてです。
私たちの方法は、財務報告書、学術論文、Web サイトなどの多様なデータ ドメインにわたって、ドキュメントの理解や QA などの 8 つの Document AI タスクに最先端の技術を設定します。
UDOP は、Document Understanding Benchmark のリーダーボードで第 1 位にランクされています。

要約(オリジナル)

We propose Universal Document Processing (UDOP), a foundation Document AI model which unifies text, image, and layout modalities together with varied task formats, including document understanding and generation. UDOP leverages the spatial correlation between textual content and document image to model image, text, and layout modalities with one uniform representation. With a novel Vision-Text-Layout Transformer, UDOP unifies pretraining and multi-domain downstream tasks into a prompt-based sequence generation scheme. UDOP is pretrained on both large-scale unlabeled document corpora using innovative self-supervised objectives and diverse labeled data. UDOP also learns to generate document images from text and layout modalities via masked image reconstruction. To the best of our knowledge, this is the first time in the field of document AI that one model simultaneously achieves high-quality neural document editing and content customization. Our method sets the state-of-the-art on 8 Document AI tasks, e.g., document understanding and QA, across diverse data domains like finance reports, academic papers, and websites. UDOP ranks first on the leaderboard of the Document Understanding Benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google