Cross the Gap: Exposing the Intra-modal Misalignment in CLIP via Modality Inversion

要約

クリップのような事前に訓練されたマルチモーダルビジョン言語モデルは、さまざまなアプリケーションで既製で広く使用されています。
このホワイトペーパーでは、これらの強力なマルチモーダルモデルのテキストまたは画像エンコーダーを個別に悪用するという一般的な慣行が、画像からイメージからイメージの検索などのモーダル内タスクの非常に準最適であることを示しています。
これは本質的に、モーダル内の制約を強制しないクリップスタイルのモーダル間対照損失によるものであり、モーダル内の不整列と呼ばれるものにつながると主張します。
これを実証するために、補助データまたは追加の訓練されたアダプターを必要とせずに、入力モダリティから表現を補完的なモダリティにマッピングする2つの最適化ベースのモダリティ反転手法を活用します。
画像から画像へのイメージとテキストからテキストへの検索のモーダルタスクで、これらのタスクがモダンに近づくと、15を超えるデータセットのモーダル内ベースラインに関するパフォーマンスが大幅に向上することを経験的に示します。
さらに、ネイティブのインターモーダルタスク（たとえば、ゼロショット画像分類など）に近づくとモダンなパフォーマンスが低下し、調査結果がさらに検証されることを示しています。
最後に、トレーニング前の目標にモーダル内の用語を組み込むか、テキストと画像機能の埋め込みスペースの間のモダリティギャップを絞り込むことで、モーダル内の不整合を減らすのに役立つことを示します。
このコードは、https：//github.com/miccunifi/cross-the-gapで公開されています。

要約(オリジナル)

Pre-trained multi-modal Vision-Language Models like CLIP are widely used off-the-shelf for a variety of applications. In this paper, we show that the common practice of individually exploiting the text or image encoders of these powerful multi-modal models is highly suboptimal for intra-modal tasks like image-to-image retrieval. We argue that this is inherently due to the CLIP-style inter-modal contrastive loss that does not enforce any intra-modal constraints, leading to what we call intra-modal misalignment. To demonstrate this, we leverage two optimization-based modality inversion techniques that map representations from their input modality to the complementary one without any need for auxiliary data or additional trained adapters. We empirically show that, in the intra-modal tasks of image-to-image and text-to-text retrieval, approaching these tasks inter-modally significantly improves performance with respect to intra-modal baselines on more than fifteen datasets. Additionally, we demonstrate that approaching a native inter-modal task (e.g. zero-shot image classification) intra-modally decreases performance, further validating our findings. Finally, we show that incorporating an intra-modal term in the pre-training objective or narrowing the modality gap between the text and image feature embedding spaces helps reduce the intra-modal misalignment. The code is publicly available at: https://github.com/miccunifi/Cross-the-Gap.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google