MMDocIR: Benchmarking Multi-Modal Retrieval for Long Documents

要約

マルチモーダル ドキュメント検索は、広範なドキュメントから図、表、チャート、レイアウト情報など、さまざまな形式のマルチモーダル コンテンツを識別して取得するように設計されています。
その重要性にもかかわらず、マルチモーダル文書検索におけるシステムのパフォーマンスを効果的に評価するための堅牢なベンチマークが著しく不足しています。
このギャップに対処するために、この作業では、ページ レベルとレイアウト レベルの取得という 2 つの異なるタスクを含む、MMDocIR という名前の新しいベンチマークを導入しました。
前者は長いドキュメント内で最も関連性の高いページをローカライズすることに重点を置いており、後者は特定のレイアウトの検出をターゲットとしており、ページ全体の分析よりも細かい粒度を提供します。
レイアウトは、テキストの段落、方程式、図、表、チャートなどのさまざまな要素を参照できます。
MMDocIR ベンチマークは、1,685 の質問に対する専門的に注釈が付けられたラベルと 173,843 の質問に対するブートストラップされたラベルを特徴とする豊富なデータセットで構成されており、トレーニングと評価の両方でマルチモーダルなドキュメント検索を進めるための極めて重要なリソースとなっています。
厳密な実験を通じて、(i) ビジュアル検索ツールはテキスト検索ツールよりも大幅に優れたパフォーマンスを発揮すること、(ii) MMDocIR トレイン セットはマルチモーダル文書検索のトレーニング プロセスに効果的に利益をもたらすことができること、および (iii) VLM テキストを活用したテキスト検索ツールのパフォーマンスがはるかに優れていることを明らかにしました。
OCR テキストを使用するものよりも。
これらの発見は、マルチモーダルな文書検索に視覚要素を統合することの潜在的な利点を強調しています。

要約(オリジナル)

Multi-modal document retrieval is designed to identify and retrieve various forms of multi-modal content, such as figures, tables, charts, and layout information from extensive documents. Despite its significance, there is a notable lack of a robust benchmark to effectively evaluate the performance of systems in multi-modal document retrieval. To address this gap, this work introduces a new benchmark, named as MMDocIR, encompassing two distinct tasks: page-level and layout-level retrieval. The former focuses on localizing the most relevant pages within a long document, while the latter targets the detection of specific layouts, offering a more fine-grained granularity than whole-page analysis. A layout can refer to a variety of elements such as textual paragraphs, equations, figures, tables, or charts. The MMDocIR benchmark comprises a rich dataset featuring expertly annotated labels for 1,685 questions and bootstrapped labels for 173,843 questions, making it a pivotal resource for advancing multi-modal document retrieval for both training and evaluation. Through rigorous experiments, we reveal that (i) visual retrievers significantly outperform their text counterparts, (ii) MMDocIR train set can effectively benefit the training process of multi-modal document retrieval and (iii) text retrievers leveraging on VLM-text perform much better than those using OCR-text. These findings underscores the potential advantages of integrating visual elements for multi-modal document retrieval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google