Multi-Modal Generative Embedding Model

要約

ほとんどのマルチモーダル タスクは、生成または埋め込みの問題に定式化できます。
既存のモデルは通常、言語モジュールを生成用のテキスト デコーダーと埋め込み用のテキスト エンコーダーに分離することで、これら 2 つのタイプの問題に取り組んでいます。
マルチモーダル パラダイムのミニマリズムを探求するために、この研究ではモダリティごとに 1 つのモデルのみを実現しようとします。
我々は、生成目標と埋め込み目標が 1 つの大規模言語モデルにカプセル化される、マルチモーダル生成埋め込みモデル (MM-GEM) を提案します。
また、効率を向上させ、きめ細かい埋め込みと生成の機能を可能にする PoolAggregator も提案します。
驚くべき発見は、これら 2 つの目的が互いに大きく矛盾しないことです。
たとえば、ViT-Large と TinyLlama からインスタンス化された MM-GEM は、クロスモーダル検索やゼロショット分類などのマルチモーダル埋め込みモデルのベンチマークで競争力のあるパフォーマンスを示し、画像キャプションの優れた能力を備えています。
さらに、MM-GEM は、領域レベルの画像キャプションの生成および取得タスクをシームレスに実行できます。
さらに、MM-GEM の高度なテキスト モデルにより、長いテキストと画像の検索において Recall@1 が 5% 以上向上しました。

要約(オリジナル)

Most multi-modal tasks can be formulated into problems of either generation or embedding. Existing models usually tackle these two types of problems by decoupling language modules into a text decoder for generation, and a text encoder for embedding. To explore the minimalism of multi-modal paradigms, we attempt to achieve only one model per modality in this work. We propose a Multi-Modal Generative Embedding Model (MM-GEM), whereby the generative and embedding objectives are encapsulated in one Large Language Model. We also propose a PoolAggregator to boost efficiency and enable the ability of fine-grained embedding and generation. A surprising finding is that these two objectives do not significantly conflict with each other. For example, MM-GEM instantiated from ViT-Large and TinyLlama shows competitive performance on benchmarks for multimodal embedding models such as cross-modal retrieval and zero-shot classification, while has good ability of image captioning. Additionally, MM-GEM can seamlessly execute region-level image caption generation and retrieval tasks. Besides, the advanced text model in MM-GEM brings over 5% improvement in Recall@1 for long text and image retrieval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google