DocLayLLM: An Efficient and Effective Multi-modal Extension of Large Language Models for Text-rich Document Understanding

要約

テキストリッチ文書理解 (TDU) とは、実質的なテキストコンテンツを含む文書を分析して理解することを指します。
大規模言語モデル (LLM) の急速な進化に伴い、その驚くべき多用途性と一般化により、LLM は TDU に広く活用されています。
このペーパーでは、TDU 用に特別に設計された LLM の効率的かつ効果的なマルチモーダル拡張である DocLayLLM を紹介します。
ビジュアル パッチ トークンと 2D 位置トークンを LLM に統合し、LLM 自体を使用してドキュメント コンテンツをエンコードすることにより、LLM のドキュメント理解機能を最大限に活用し、OCR 情報の認識を強化します。
私たちはまた、思考連鎖 (CoT) の役割を深く考察し、CoT Pre-training と CoT Annealing の手法を革新的に提案しました。
当社の DocLayLLM は、軽量のトレーニング設定で驚くべきパフォーマンスを達成し、その効率と有効性を実証します。
実験結果は、当社の DocLayLLM が既存の OCR 依存メソッドを上回り、OCR を使用しない競合他社よりも優れたパフォーマンスを発揮することを示しています。

要約(オリジナル)

Text-rich document understanding (TDU) refers to analyzing and comprehending documents containing substantial textual content. With the rapid evolution of large language models (LLMs), they have been widely leveraged for TDU due to their remarkable versatility and generalization. In this paper, we introduce DocLayLLM, an efficient and effective multi-modal extension of LLMs specifically designed for TDU. By integrating visual patch tokens and 2D positional tokens into LLMs and encoding the document content using the LLMs themselves, we fully take advantage of the document comprehension capability of LLMs and enhance their perception of OCR information. We have also deeply considered the role of the chain-of-thought (CoT) and innovatively proposed the techniques of CoT Pre-training and CoT Annealing. Our DocLayLLM can achieve remarkable performances with lightweight training settings, showcasing its efficiency and effectiveness. Experimental results demonstrate that our DocLayLLM surpasses existing OCR-dependent methods and also outperforms OCR-free competitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google