GME: Improving Universal Multimodal Retrieval by Multimodal LLMs

要約

ユニバーサルマルチモーダル検索（UMR）は、クエリと候補者が純粋なテキスト、画像、または両方の組み合わせで構成できる統一モデルを使用して、さまざまなモダリティ全体で検索を可能にすることを目的としています。
以前の研究では、マルチモーダルの大手言語モデル（MLLM）を採用して、テキストデータのみを使用してUMRを実現しようとしました。
ただし、予備的な実験は、より多様なマルチモーダルトレーニングデータがMLLMの可能性をさらにロックすることができることを示しています。
その有効性にもかかわらず、既存のマルチモーダルトレーニングデータは、モダリティの点で非常に不均衡であり、トレーニングデータ合成パイプラインを開発し、大規模で高品質の融合モーダルトレーニングデータセットを構築するように動機付けています。
合成トレーニングデータに基づいて、UMR向けに設計されたMLLMベースの密なレトリバーであるGeneral Multimodal Embedder（GME）を開発します。
さらに、アプローチの有効性を評価するために、包括的なUMRベンチマーク（UMRB）を構築します。
実験結果は、我々の方法が既存のUMRメソッド間で最先端のパフォーマンスを達成することを示しています。
最後に、モデルのスケーリングとトレーニング戦略の詳細な分析を提供し、モデルデータと合成データの両方でアブレーション研究を実行します。

要約(オリジナル)

Universal Multimodal Retrieval (UMR) aims to enable search across various modalities using a unified model, where queries and candidates can consist of pure text, images, or a combination of both. Previous work has attempted to adopt multimodal large language models (MLLMs) to realize UMR using only text data. However, our preliminary experiments demonstrate that more diverse multimodal training data can further unlock the potential of MLLMs. Despite its effectiveness, the existing multimodal training data is highly imbalanced in terms of modality, which motivates us to develop a training data synthesis pipeline and construct a large-scale, high-quality fused-modal training dataset. Based on the synthetic training data, we develop the General Multimodal Embedder (GME), an MLLM-based dense retriever designed for UMR. Furthermore, we construct a comprehensive UMR Benchmark (UMRB) to evaluate the effectiveness of our approach. Experimental results show that our method achieves state-of-the-art performance among existing UMR methods. Last, we provide in-depth analyses of model scaling and training strategies, and perform ablation studies on both the model and synthetic data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google