Multi-modal Attribute Prompting for Vision-Language Models

要約

CLIPのような大規模な事前訓練された視覚言語モデル（VLM）は、下流タスクへの強力な汎化能力を示すが、数ショットのシナリオでは苦労する。既存のプロンプティング技術は、主にグローバルなテキストと画像表現に焦点を当てているが、マルチモーダルな属性特性を見落としている。この限界は、モデルのきめ細かな視覚的詳細を認識する能力を妨げ、より広範な未知のクラスへの汎化能力を制限する。この問題に対処するため、我々は、テキスト属性プロンプト、視覚属性プロンプト、属性レベルアライメントを共同で探索することで、マルチモーダル属性プロンプト手法（MAP）を提案する。提案するMAPにはいくつかの利点がある。第一に、学習可能な視覚属性プロンプトを導入し、テキスト属性セマンティクスを強化することで、未知のカテゴリからの画像の視覚属性を適応的に捕捉し、CLIPのきめ細かな視覚認識能力を向上させる。第二に、提案する属性レベルのアライメントは、グローバルアライメントを補完し、オープンボキャブラリーオブジェクトに対するクロスモーダルアライメントの頑健性を高める。我々の知る限り、これはCLIPベースの少数ショット適応のためのクロスモーダル属性レベルアライメントを確立した最初の研究である。11のデータセットに対する広範な実験結果は、我々の手法が最先端のアプローチに対して良好な性能を示すことを示している。

要約(オリジナル)

Large pre-trained Vision-Language Models (VLMs), like CLIP, exhibit strong generalization ability to downstream tasks but struggle in few-shot scenarios. Existing prompting techniques primarily focus on global text and image representations, yet overlooking multi-modal attribute characteristics. This limitation hinders the model’s ability to perceive fine-grained visual details and restricts its generalization ability to a broader range of unseen classes. To address this issue, we propose a Multi-modal Attribute Prompting method (MAP) by jointly exploring textual attribute prompting, visual attribute prompting, and attribute-level alignment. The proposed MAP enjoys several merits. First, we introduce learnable visual attribute prompts enhanced by textual attribute semantics to adaptively capture visual attributes for images from unknown categories, boosting fine-grained visual perception capabilities for CLIP. Second, the proposed attribute-level alignment complements the global alignment to enhance the robustness of cross-modal alignment for open-vocabulary objects. To our knowledge, this is the first work to establish cross-modal attribute-level alignment for CLIP-based few-shot adaptation. Extensive experimental results on 11 datasets demonstrate that our method performs favorably against state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL