Deep Learning based Visually Rich Document Content Understanding: A Survey

要約

ビジュアル・リッチ・ドキュメント（VRD）は、そのマルチモーダルな情報内容から、学術、金融、医療分野、マーケティングなどにおいて必要不可欠である。VRDから情報を抽出する従来の方法は、専門家の知識と手作業に依存しており、コストと効率が悪い。ディープラーニングの登場はこのプロセスに革命をもたらし、包括的な文書表現を開発するための事前学習タスクとともに、マルチモーダルな情報視覚、テキスト、レイアウトを活用するモデルを導入した。これらのモデルは、様々な下流タスクにおいて最先端の性能を達成し、VRDからの情報抽出の効率と精度を大幅に向上させている。ビジュアル・リッチ・ドキュメント理解（VRDU）における需要の高まりと急速な発展を受けて、本稿では深層学習ベースのVRDUフレームワークの包括的なレビューを提供する。既存の手法とベンチマークデータセットを体系的に調査・分析し、採用された戦略と下流タスクに基づいて分類する。さらに、特徴表現と融合、モデルアーキテクチャ、事前学習手法に焦点を当てながら、VRDUモデルで使用される様々な手法を比較し、それらの長所、限界、適切なシナリオを強調する。最後に、VRDUにおける新たなトレンドと課題を明らかにし、今後の研究の方向性と実用的なアプリケーションに関する洞察を提供する。このサーベイは、VRDUの進歩を徹底的に理解することを目的としており、学術分野と産業分野の両方に有益である。

要約(オリジナル)

Visually Rich Documents (VRDs) are essential in academia, finance, medical fields, and marketing due to their multimodal information content. Traditional methods for extracting information from VRDs depend on expert knowledge and manual labor, making them costly and inefficient. The advent of deep learning has revolutionized this process, introducing models that leverage multimodal information vision, text, and layout along with pretraining tasks to develop comprehensive document representations. These models have achieved state-of-the-art performance across various downstream tasks, significantly enhancing the efficiency and accuracy of information extraction from VRDs. In response to the growing demands and rapid developments in Visually Rich Document Understanding (VRDU), this paper provides a comprehensive review of deep learning-based VRDU frameworks. We systematically survey and analyze existing methods and benchmark datasets, categorizing them based on adopted strategies and downstream tasks. Furthermore, we compare different techniques used in VRDU models, focusing on feature representation and fusion, model architecture, and pretraining methods, while highlighting their strengths, limitations, and appropriate scenarios. Finally, we identify emerging trends and challenges in VRDU, offering insights into future research directions and practical applications. This survey aims to provide a thorough understanding of VRDU advancements, benefiting both academic and industrial sectors.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL