From Visual Prompt Learning to Zero-Shot Transfer: Mapping Is All You Need

要約

ビジュアル プロンプト ラーニングは、新たに出現した手法として、大規模な事前トレーニング済みモデルによって学習された知識を活用し、プロンプトを使用してダウンストリーム タスクに適応させます。
以前の研究は効果的なプロンプトの設計に焦点を当てていましたが、この研究では、プロンプトの設計と比較して、優れたマッピング戦略がより重要であると主張しています。
この意味で、事前にトレーニングされたモデルの知識と下流のタスクとの間のセマンティック アラインメントを使用した、より効果的なマッピングである SeMap を提案します。
私たちの実験結果は、SeMap が視覚プロンプト学習のパフォーマンスを大幅に向上できることを示しています。
さらに、私たちの実験は、SeMap が競合するゼロ ショット転送を達成できることを示しており、対応するデータセットを微調整することなくダウンストリーム タスクを実行できることを示しています。
これは、提案された方法が、ゼロショット転送が必要な幅広いアプリケーションで使用される可能性を示しています。
結果は、私たちが提案した SeMap が、視覚的なプロンプト学習とゼロショット転送の両方で大きな進歩をもたらす可能性があることを示唆しています。
SeMap を使用して、コミュニティが大規模なビジョン モデルをより効率的かつ軽量に利用できるように支援できることを願っています。

要約(オリジナル)

Visual prompt learning, as a newly emerged technique, leverages the knowledge learned by a large-scale pre-trained model and adapts it to downstream tasks through the usage of prompts. While previous research has focused on designing effective prompts, in this work, we argue that compared to prompt design, a good mapping strategy matters more. In this sense, we propose SeMap, a more effective mapping using the semantic alignment between the pre-trained model’s knowledge and the downstream task. Our experimental results show that SeMap can largely boost the performance of visual prompt learning. Moreover, our experiments show that SeMap is capable of achieving competitive zero-shot transfer, indicating that it can perform the downstream task without any fine-tuning on the corresponding dataset. This demonstrates the potential of our proposed method to be used in a broader range of applications where the zero-shot transfer is desired. Results suggest that our proposed SeMap could lead to significant advancements in both visual prompt learning and zero-shot transfer. We hope with SeMap, we can help the community move forward to more efficient and lightweight utilization of large vision models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google