Generative Cross-Modal Retrieval: Memorizing Images in Multimodal Language Models for Retrieval and Beyond

要約

生成言語モデルの最近の進歩により、文書から知識を記憶し、知識を思い出してユーザーのクエリに効果的に応答する能力が実証されました。
この機能に基づいて、マルチモーダル大規模言語モデル (MLLM) がパラメータ内の画像を記憶および呼び出せるようにすることを提案します。
視覚コンテンツに対するユーザーのクエリが与えられると、MLLM は応答としてパラメーターから関連する画像を「呼び出す」ことが期待されます。
この目標を達成するには、MLLM 内に組み込まれた視覚記憶や視覚想起スキームなど、顕著な課題が伴います。
これらの課題に対処するために、生成的なクロスモーダル検索フレームワークを導入します。これは、画像を表す一意の識別子文字列を割り当て、記憶する学習と取得する学習という 2 つのトレーニング ステップを伴います。
最初のステップでは、画像とそれぞれの識別子の間の関連付けを記憶するように MLLM をトレーニングすることに焦点を当てます。
後のステップでは、テキストのクエリ入力が与えられた場合に、ターゲット画像の対応する識別子を生成するように MLLM に指示します。
MLLM で画像を記憶することにより、以前の識別アプローチとは異なる、クロスモーダル検索に新しいパラダイムを導入します。
実験は、大規模な画像候補セットでも生成パラダイムが効果的かつ効率的に機能することを示しています。

要約(オリジナル)

The recent advancements in generative language models have demonstrated their ability to memorize knowledge from documents and recall knowledge to respond to user queries effectively. Building upon this capability, we propose to enable multimodal large language models (MLLMs) to memorize and recall images within their parameters. Given a user query for visual content, the MLLM is anticipated to ‘recall’ the relevant image from its parameters as the response. Achieving this target presents notable challenges, including inbuilt visual memory and visual recall schemes within MLLMs. To address these challenges, we introduce a generative cross-modal retrieval framework, which assigns unique identifier strings to represent images and involves two training steps: learning to memorize and learning to retrieve. The first step focuses on training the MLLM to memorize the association between images and their respective identifiers. The latter step teaches the MLLM to generate the corresponding identifier of the target image, given the textual query input. By memorizing images in MLLMs, we introduce a new paradigm to cross-modal retrieval, distinct from previous discriminative approaches. The experiments demonstrate that the generative paradigm performs effectively and efficiently even with large-scale image candidate sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google