Black Box Few-Shot Adaptation for Vision-Language models

要約

視覚と言語のモダリティを調整するために対照学習でトレーニングされた視覚言語 (V-L) モデルは、強力な少数ショット学習者であることが示されています。
ソフト プロンプト学習は、新しいドメインによって引き起こされる分布シフトによって引き起こされるモダリティ ギャップを埋めることを目的とした、少数ショットの下流適応に最適な方法です。
パラメーターは効率的ですが、迅速な学習にはモデルの重みへのアクセスが必要であり、数十億のパラメーターを持つ大規模なモデルでは計算的に不可能な場合があります。
これらの欠点に対処するために、この研究では、(a) 事前に計算された画像とテキストの特徴を操作するため、モデルの重みにアクセスせずに機能する、V-L 少数ショット適応のためのブラックボックス手法を説明します。(b)
(c) 教師ありトレーニングと教師なしトレーニングの両方に適しており、(d) ユニモーダル モデルから計算された画像とテキストの特徴を位置合わせするためにも使用できます。
これを達成するために、ターゲット ドメインでの V-L 再調整のための単純な線形アプローチである線形特徴アライメント (LFA) を提案します。
LFA は、閉形式の解から最小二乗問題に初期化され、その後、再ランキングの損失を最小限に抑えることによって反復的に更新されます。
そのシンプルさにも関わらず、11 個の画像データセットと 2 個のビデオ データセットに対する広範な実験で示されているように、私たちのアプローチはソフト プロンプト学習方法をも超える可能性があります。

要約(オリジナル)

Vision-Language (V-L) models trained with contrastive learning to align the visual and language modalities have been shown to be strong few-shot learners. Soft prompt learning is the method of choice for few-shot downstream adaptation aiming to bridge the modality gap caused by the distribution shift induced by the new domain. While parameter-efficient, prompt learning still requires access to the model weights and can be computationally infeasible for large models with billions of parameters. To address these shortcomings, in this work, we describe a black-box method for V-L few-shot adaptation that (a) operates on pre-computed image and text features and hence works without access to the model’s weights, (b) it is orders of magnitude faster at training time, (c) it is amenable to both supervised and unsupervised training, and (d) it can be even used to align image and text features computed from uni-modal models. To achieve this, we propose Linear Feature Alignment (LFA), a simple linear approach for V-L re-alignment in the target domain. LFA is initialized from a closed-form solution to a least-squares problem and then it is iteratively updated by minimizing a re-ranking loss. Despite its simplicity, our approach can even surpass soft-prompt learning methods as shown by extensive experiments on 11 image and 2 video datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google