UniCLIP: Unified Framework for Contrastive Language-Image Pre-training

要約

対照的な目的を持つビジョン言語モデルの事前トレーニングは、大規模なキュレーションされていないデータセットに拡張可能であり、多くのダウンストリーム アプリケーションに転送可能な有望な結果を示しています。
以下のいくつかの研究では、自己管理項を追加することによってデータ効率を改善することを目的としていますが、ドメイン間 (画像-テキスト) コントラスト損失とドメイン内 (画像-画像) コントラスト損失は、それらの研究の個々の空間で定義されているため、多くの実現可能性があります。
監視の組み合わせが見落とされています。
この問題を克服するために、対照的な言語イメージ事前トレーニングの統合フレームワークである UniCLIP を提案します。
UniCLIP は、ドメイン間ペアとドメイン内ペアの両方の対照的な損失を単一のユニバーサル スペースに統合します。
異なるドメイン間でコントラスト損失を統合するときに発生する不一致は、UniCLIP の 3 つの主要コンポーネントによって解決されます: (1) 拡張認識機能の埋め込み、(2) MP-NCE 損失、および (3) ドメイン依存の類似度測定。
UniCLIP は、さまざまなシングルモダリティおよびマルチモダリティのダウンストリーム タスクで、以前のビジョン言語の事前トレーニング方法よりも優れています。
私たちの実験では、UniCLIP を構成する各コンポーネントが最終的なパフォーマンスに大きく貢献することを示しています。

要約(オリジナル)

Pre-training vision-language models with contrastive objectives has shown promising results that are both scalable to large uncurated datasets and transferable to many downstream applications. Some following works have targeted to improve data efficiency by adding self-supervision terms, but inter-domain (image-text) contrastive loss and intra-domain (image-image) contrastive loss are defined on individual spaces in those works, so many feasible combinations of supervision are overlooked. To overcome this issue, we propose UniCLIP, a Unified framework for Contrastive Language-Image Pre-training. UniCLIP integrates the contrastive loss of both inter-domain pairs and intra-domain pairs into a single universal space. The discrepancies that occur when integrating contrastive loss between different domains are resolved by the three key components of UniCLIP: (1) augmentation-aware feature embedding, (2) MP-NCE loss, and (3) domain dependent similarity measure. UniCLIP outperforms previous vision-language pre-training methods on various single- and multi-modality downstream tasks. In our experiments, we show that each component that comprises UniCLIP contributes well to the final performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google