VISTA: Visualized Text Embedding For Universal Multi-Modal Retrieval

要約

マルチモーダル検索は実際にますます一般的になってきています。
しかし、既存のレトリバーはほとんどがテキスト指向であり、視覚情報を処理する機能がありません。
CLIP のようなビジョン言語モデルが存在するにもかかわらず、現在の方法では、テキストのみおよび画像のみのデータを表現することが大幅に制限されています。
この研究では、普遍的なマルチモーダル検索のための新しい埋め込みモデル VISTA を紹介します。
私たちの仕事は 3 つの技術的貢献をもたらします。
まず、視覚的なトークンの埋め込みを導入することで、画像理解機能を備えた強力なテキスト エンコーダーを拡張する柔軟なアーキテクチャを導入します。
次に、埋め込みモデルのトレーニングを容易にする高品質の合成画像テキストをもたらす 2 つのデータ生成戦略を開発します。
第三に、多段階のトレーニング アルゴリズムを導入します。このアルゴリズムでは、まず大量の弱いラベルが付けられたデータを使用して、ビジュアル トークンの埋め込みとテキスト エンコーダーを調整し、次に、生成された合成画像テキスト データを使用してマルチモーダル表現機能を開発します。
私たちの実験では、VISTA はゼロショット設定と教師あり設定の両方で、さまざまなマルチモーダル検索タスクにわたって優れたパフォーマンスを達成しました。
私たちのモデル、データ、ソース コードは https://github.com/FlagOpen/FlagEmbedding で入手できます。

要約(オリジナル)

Multi-modal retrieval becomes increasingly popular in practice. However, the existing retrievers are mostly text-oriented, which lack the capability to process visual information. Despite the presence of vision-language models like CLIP, the current methods are severely limited in representing the text-only and image-only data. In this work, we present a new embedding model VISTA for universal multi-modal retrieval. Our work brings forth threefold technical contributions. Firstly, we introduce a flexible architecture which extends a powerful text encoder with the image understanding capability by introducing visual token embeddings. Secondly, we develop two data generation strategies, which bring high-quality composed image-text to facilitate the training of the embedding model. Thirdly, we introduce a multi-stage training algorithm, which first aligns the visual token embedding with the text encoder using massive weakly labeled data, and then develops multi-modal representation capability using the generated composed image-text data. In our experiments, VISTA achieves superior performances across a variety of multi-modal retrieval tasks in both zero-shot and supervised settings. Our model, data, and source code are available at https://github.com/FlagOpen/FlagEmbedding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google