Vision-Language Model Fine-Tuning via Simple Parameter-Efficient Modification

要約

ビジョン言語モデル (VLM) の微調整における最近の進歩により、プロンプト チューニングとアダプター チューニングの成功が見られましたが、固有のパラメーターに基づく古典的なモデルの微調整は見落とされているようです。
CLIP モデルを微調整するとパフォーマンスも低下するため、ショット数の少ないサンプルで VLM のパラメータを微調整すると、事前にトレーニングされた知識が損なわれると考えられています。
このペーパーでは、この観点を再考し、新しい観点を提案します。すべてのパラメータではなく特定のパラメータを微調整することで、VLM での古典的なモデルの微調整の力が明らかになります。
私たちは綿密な研究を通じて、追加のパラメーターによるオーバーヘッドを導入せずに CLIP を微調整するためのシンプルかつ効果的な方法である ClipFit を提案します。
特定のバイアス項と正規化層を微調整するだけで、ClipFit はゼロショット CLIP のパフォーマンスを平均調和平均精度 7.27\% 改善できることを実証します。
最後に、CLIPFit での微調整が事前トレーニングされたモデルにどのような影響を与えるかを理解するために、私たちは徹底的な実験分析を実施しました。
内部パラメータと表現の変更。
低レベルのテキスト バイアス レイヤーと最初のレイヤーの正規化レイヤーは、他のレイヤーよりも大幅に変化することがわかりました。
コードは \url{https://github.com/minglllli/CLIPFit} で入手できます。

要約(オリジナル)

Recent advances in fine-tuning Vision-Language Models (VLMs) have witnessed the success of prompt tuning and adapter tuning, while the classic model fine-tuning on inherent parameters seems to be overlooked. It is believed that fine-tuning the parameters of VLMs with few-shot samples corrupts the pre-trained knowledge since fine-tuning the CLIP model even degrades performance. In this paper, we revisit this viewpoint, and propose a new perspective: fine-tuning the specific parameters instead of all will uncover the power of classic model fine-tuning on VLMs. Through our meticulous study, we propose ClipFit, a simple yet effective method to fine-tune CLIP without introducing any overhead of extra parameters. We demonstrate that by only fine-tuning the specific bias terms and normalization layers, ClipFit can improve the performance of zero-shot CLIP by 7.27\% average harmonic mean accuracy. Lastly, to understand how fine-tuning in CLIPFit affects the pre-trained models, we conducted extensive experimental analyses w.r.t. changes in internal parameters and representations. We found that low-level text bias layers and the first layer normalization layer change much more than other layers. The code is available at \url{https://github.com/minglllli/CLIPFit}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google