DPA: Dual Prototypes Alignment for Unsupervised Adaptation of Vision-Language Models

要約

CLIP などの視覚言語モデル (VLM) は、ゼロショット画像分類において顕著な可能性を示しています。
ただし、これらのモデルを新しいドメインに適応させることは、特にラベル付きデータが利用できない教師なしの設定では依然として困難です。
最近の研究では、ラベルなしのターゲット データを使用して教師なしの方法で CLIP を適応させる擬似ラベル付けアプローチが提案されています。
それにもかかわらず、これらの方法は、CLIP の視覚的表現とテキスト表現の間の不整合から生じるノイズの多い疑似ラベルのために困難を伴います。
この研究では、VLM の教師なしドメイン適応方法である DPA を紹介します。
DPA は、出力の凸状の組み合わせとともに、個別の分類器として機能するデュアル プロトタイプの概念を導入し、それによって正確な擬似ラベルの構築につながります。
次に、特に初期トレーニング中の堅牢な自己トレーニングを促進するために、疑似ラベルをランク付けします。
最後に、テキスト プロトタイプと画像プロトタイプを位置合わせすることで、視覚とテキストの不整合に対処し、適応パフォーマンスをさらに向上させます。
13 の下流視覚タスクに関する実験では、DPA がゼロショット CLIP および最先端の教師なし適応ベースラインを大幅に上回ることが実証されました。

要約(オリジナル)

Vision-language models (VLMs), e.g., CLIP, have shown remarkable potential in zero-shot image classification. However, adapting these models to new domains remains challenging, especially in unsupervised settings where labelled data is unavailable. Recent research has proposed pseudo-labelling approaches to adapt CLIP in an unsupervised manner using unlabelled target data. Nonetheless, these methods struggle due to noisy pseudo-labels resulting from the misalignment between CLIP’s visual and textual representations. This study introduces DPA, an unsupervised domain adaptation method for VLMs. DPA introduces the concept of dual prototypes, acting as distinct classifiers, along with the convex combination of their outputs, thereby leading to accurate pseudo-label construction. Next, it ranks pseudo-labels to facilitate robust self-training, particularly during early training. Finally, it addresses visual-textual misalignment by aligning textual prototypes with image prototypes to further improve the adaptation performance. Experiments on 13 downstream vision tasks demonstrate that DPA significantly outperforms zero-shot CLIP and the state-of-the-art unsupervised adaptation baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google