VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks

要約

埋め込みモデルは、意味的類似性、情報検索、クラスタリングなどのさまざまな下流タスクを可能にする上で極めて重要です。
最近、タスク全体で一般化できるユニバーサル テキスト埋め込みモデル (MTEB など) の開発に対する関心が高まっています。
ただし、ユニバーサルマルチモーダル埋め込みモデルの学習の進歩は、その重要性にもかかわらず比較的遅いです。
この研究では、幅広い下流タスクを処理できるユニバーサルな埋め込みを構築する可能性を探ることを目的としています。
私たちの貢献は 2 つあります: (1) MMEB (Massive Multimodal Embedding Benchmark)。これは 4 つのメタタスク (つまり、分類、視覚的な質問応答、マルチモーダル検索、視覚的グラウンディング) と 20 のトレーニング データセットと 16 の評価データセットを含む 36 のデータセットをカバーします。
(2) VLM2Vec (Vision-Language Model -> Vector)。MMEB でのトレーニングを通じて、最先端の視覚言語モデルを埋め込みモデルに変換する対照的なトレーニング フレームワークです。
CLIP や BLIP などの以前のモデルとは異なり、VLM2Vec は画像とテキストの任意の組み合わせを処理して、タスク命令に基づいて固定次元ベクトルを生成できます。
Phi-3.5-V 上で一連の VLM2Vec モデルを構築し、MMEB の評価分割で評価します。
私たちの結果は、VLM2Vec が MMEB の分布内データセットと分布外データセットの両方で、既存のマルチモーダル埋め込みモデルと比較して絶対平均 10% ～ 20% の改善を達成することを示しています。

要約(オリジナル)

Embedding models have been crucial in enabling various downstream tasks such as semantic similarity, information retrieval, and clustering. Recently, there has been a surge of interest in developing universal text embedding models that can generalize across tasks (e.g., MTEB). However, progress in learning universal multimodal embedding models has been relatively slow despite their importance. In this work, we aim to explore the potential for building universal embeddings capable of handling a wide range of downstream tasks. Our contributions are twofold: (1) MMEB (Massive Multimodal Embedding Benchmark), which covers 4 meta-tasks (i.e. classification, visual question answering, multimodal retrieval, and visual grounding) and 36 datasets, including 20 training and 16 evaluation datasets, and (2) VLM2Vec (Vision-Language Model -> Vector), a contrastive training framework that converts any state-of-the-art vision-language model into an embedding model via training on MMEB. Unlike previous models such as CLIP and BLIP, VLM2Vec can process any combination of images and text to generate a fixed-dimensional vector based on task instructions. We build a series of VLM2Vec models on Phi-3.5-V and evaluate them on MMEB’s evaluation split. Our results show that VLM2Vec achieves an absolute average improvement of 10% to 20% over existing multimodal embedding models on both in-distribution and out-of-distribution datasets in MMEB.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google