SuS-X: Training-Free Name-Only Transfer of Vision-Language Models

要約

Contrastive Language-Image Pre-training (CLIP) は、大規模な視覚言語モデルをトレーニングするためのシンプルかつ効果的な方法として登場しました。
CLIP は、さまざまな下流タスクで優れたゼロショット分類と検索を実証します。
ただし、その可能性を最大限に活用するには、依然として微調整が必​​要と思われます。
CLIP モデル全体を微調整すると、リソースが大量に消費され、不安定になる可能性があります。
さらに、この微調整の必要性を回避することを目的とした最近の方法では、依然としてターゲットのディストリビューションからの画像にアクセスする必要があります。
この論文では、別のアプローチを追求し、下流のタスクに関して私たちが持っている唯一の知識が下流のターゲット カテゴリの名前で構成される、トレーニング不要の「名前のみの転送」の体制を調査します。
我々は、SuS と TIP-X という 2 つの主要な構成要素で構成される新しい手法 SuS-X を提案します。この手法は、集中的な微調整も高価なラベル付きデータも必要としません。
SuS-X は、19 のベンチマーク データセットで最先端のゼロショット分類結果を達成します。
さらに、トレーニング不要の数ショット設定における TIP-X の有用性を示し、ここでもトレーニング不要の強力なベースラインを超えて最先端の結果が得られます。
コードは https://github.com/vishaal27/SuS-X で入手できます。

要約(オリジナル)

Contrastive Language-Image Pre-training (CLIP) has emerged as a simple yet effective way to train large-scale vision-language models. CLIP demonstrates impressive zero-shot classification and retrieval on diverse downstream tasks. However, to leverage its full potential, fine-tuning still appears to be necessary. Fine-tuning the entire CLIP model can be resource-intensive and unstable. Moreover, recent methods that aim to circumvent this need for fine-tuning still require access to images from the target distribution. In this paper, we pursue a different approach and explore the regime of training-free ‘name-only transfer’ in which the only knowledge we possess about the downstream task comprises the names of downstream target categories. We propose a novel method, SuS-X, consisting of two key building blocks — SuS and TIP-X, that requires neither intensive fine-tuning nor costly labelled data. SuS-X achieves state-of-the-art zero-shot classification results on 19 benchmark datasets. We further show the utility of TIP-X in the training-free few-shot setting, where we again achieve state-of-the-art results over strong training-free baselines. Code is available at https://github.com/vishaal27/SuS-X.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google