Few-shot Adaptation of Multi-modal Foundation Models: A Survey

要約

CLIPのようなマルチモーダル（視覚言語）モデルは、新世代の視覚基盤モデルとして、従来の教師あり事前学習モデル（例えばImageNetベースの事前学習）に取って代わりつつある。これらのモデルは、何十億ものインターネット画像とテキストのペアから学習された、ロバストで整合のとれた意味表現を持ち、ゼロショットで様々な下流タスクに適用することができる。しかし、医療画像やリモートセンシングのような細かな領域では、マルチモーダルな基礎モデルの性能には多くの不満が残る。その結果、多くの研究者がこれらのモデルのための少数ショット適応法の探求を開始し、徐々に3つの主要な技術的アプローチを導き出した：1）プロンプトベースの手法、2）アダプターベースの手法、3）外部知識ベースの手法である。しかしながら、急速に発展しているこの分野では、研究の進展を体系的に整理する包括的なサーベイがないまま、数多くの成果が生み出されている。そこで、本調査では、マルチモーダルモデルのための少数ショット適応法における研究の進展を紹介・分析し、一般的に使用されるデータセットや実験セットアップを要約し、異なる手法の結果を比較する。さらに、既存の手法には信頼できる理論的裏付けがないため、マルチモーダルモデルに対する少数ショット適応の一般化誤差の境界を導出する。この定理は、マルチモーダル基礎モデルの汎化誤差が、ドメインギャップ、モデル容量、サンプルサイズの3つの要因によって制約されることを明らかにする。これに基づき、我々は以下の3つの解決策を提案する：1)適応的ドメイン汎化、2)適応的モデル選択、3)適応的知識利用。

要約(オリジナル)

Multi-modal (vision-language) models, such as CLIP, are replacing traditional supervised pre-training models (e.g., ImageNet-based pre-training) as the new generation of visual foundation models. These models with robust and aligned semantic representations learned from billions of internet image-text pairs and can be applied to various downstream tasks in a zero-shot manner. However, in some fine-grained domains like medical imaging and remote sensing, the performance of multi-modal foundation models often leaves much to be desired. Consequently, many researchers have begun to explore few-shot adaptation methods for these models, gradually deriving three main technical approaches: 1) prompt-based methods, 2) adapter-based methods, and 3) external knowledge-based methods. Nevertheless, this rapidly developing field has produced numerous results without a comprehensive survey to systematically organize the research progress. Therefore, in this survey, we introduce and analyze the research advancements in few-shot adaptation methods for multi-modal models, summarizing commonly used datasets and experimental setups, and comparing the results of different methods. In addition, due to the lack of reliable theoretical support for existing methods, we derive the few-shot adaptation generalization error bound for multi-modal models. The theorem reveals that the generalization error of multi-modal foundation models is constrained by three factors: domain gap, model capacity, and sample size. Based on this, we propose three possible solutions from the following aspects: 1) adaptive domain generalization, 2) adaptive model selection, and 3) adaptive knowledge utilization.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL