ColPali: Efficient Document Retrieval with Vision Language Models

要約

ドキュメントは、テキストだけでなく、表、図、ページ レイアウト、フォントを通じて情報を伝える、視覚的に豊富な構造です。
最新の文書検索システムは、クエリとテキストのマッチングでは強力なパフォーマンスを示しますが、視覚的な手がかりを効率的に利用するのが難しく、検索拡張生成などの実際の文書検索アプリケーションでのパフォーマンスが妨げられます。
視覚的にリッチなドキュメント取得に関する現在のシステムのベンチマークを行うために、複数のドメイン、言語、設定にまたがるさまざまなページレベルの取得タスクで構成されるビジュアル ドキュメント取得ベンチマーク ViDoRe を導入します。
現代のシステムには固有の欠点があるため、新しい検索モデル アーキテクチャ ColPali の導入が動機付けられています。ColPali は、最近のビジョン言語モデルの文書理解機能を活用して、文書ページの画像のみから高品質のコンテキスト化された埋め込みを生成します。
ColPali は、遅延インタラクション マッチング メカニズムと組み合わせることで、最新のドキュメント検索パイプラインを大幅に上回るパフォーマンスを実現すると同時に、大幅に高速化され、エンドツーエンドでトレーニング可能になります。

要約(オリジナル)

Documents are visually rich structures that convey information through text, as well as tables, figures, page layouts, or fonts. While modern document retrieval systems exhibit strong performance on query-to-text matching, they struggle to exploit visual cues efficiently, hindering their performance on practical document retrieval applications such as Retrieval Augmented Generation. To benchmark current systems on visually rich document retrieval, we introduce the Visual Document Retrieval Benchmark ViDoRe, composed of various page-level retrieving tasks spanning multiple domains, languages, and settings. The inherent shortcomings of modern systems motivate the introduction of a new retrieval model architecture, ColPali, which leverages the document understanding capabilities of recent Vision Language Models to produce high-quality contextualized embeddings solely from images of document pages. Combined with a late interaction matching mechanism, ColPali largely outperforms modern document retrieval pipelines while being drastically faster and end-to-end trainable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google