MaPLe: Multi-modal Prompt Learning

要約

CLIPのような事前学習された視覚言語（V-L）モデルは、下流タスクへの優れた汎化能力を示している。しかし、これらのモデルは入力テキストプロンプトの選択に敏感であり、良好な性能を発揮するためにはプロンプトテンプレートを慎重に選択する必要がある。自然言語処理（NLP）の文献に触発された最近のCLIP適応アプローチは、プロンプトをテキスト入力として学習し、CLIPを下流タスク用に細かく調整する。我々は、プロンプトを使用してCLIPの単一ブランチ（言語または視覚）の表現を適応させることは、下流のタスクで両方の表現空間を動的に調整する柔軟性がないため、最適ではないことに注目する。本研究では、視覚と言語の表現間の整合性を向上させるために、視覚と言語の両方のブランチに対してマルチモーダルプロンプト学習(MaPLe)を提案する。本研究では、視覚と言語のプロンプト間の強い結合を促進し、相互のシナジーを確保するとともに、独立した単一モーダルソリューションの学習を行わないように設計する。さらに、異なる初期段階において別々のプロンプトを学習し、段階ごとの特徴的な関係を徐々にモデル化し、豊かな文脈学習を可能にする。我々は、新規クラスへの汎化、新しいターゲットデータセット、未知のドメインシフトの3つの代表的なタスクで、我々のアプローチの有効性を評価する。最先端の手法であるCo-Coopと比較して、MaPLeは良好な性能を示し、11種類の多様な画像認識データセットで平均して、新規クラスで3.45%、全体の調和平均で2.72%の絶対利得を達成する。コード：https://tinyurl.com/2dzs8f3w。

要約(オリジナル)

Pre-trained vision-language (V-L) models such as CLIP have shown excellent generalization ability to downstream tasks. However, they are sensitive to the choice of input text prompts and require careful selection of prompt templates to perform well. Inspired by the Natural Language Processing (NLP) literature, recent CLIP adaptation approaches learn prompts as the textual inputs to fine-tune CLIP for downstream tasks. We note that using prompting to adapt representations in a single branch of CLIP (language or vision) is sub-optimal since it does not allow the flexibility to dynamically adjust both representation spaces on a downstream task. In this work, we propose Multi-modal Prompt Learning (MaPLe) for both vision and language branches to improve alignment between the vision and language representations. Our design promotes strong coupling between the vision-language prompts to ensure mutual synergy and discourages learning independent uni-modal solutions. Further, we learn separate prompts across different early stages to progressively model the stage-wise feature relationships to allow rich context learning. We evaluate the effectiveness of our approach on three representative tasks of generalization to novel classes, new target datasets and unseen domain shifts. Compared with the state-of-the-art method Co-CoOp, MaPLe exhibits favorable performance and achieves an absolute gain of 3.45% on novel classes and 2.72% on overall harmonic-mean, averaged over 11 diverse image recognition datasets. Code: https://tinyurl.com/2dzs8f3w.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL