DA-VPT: Semantic-Guided Visual Prompt Tuning for Vision Transformers

要約

視覚的なプロンプトチューニング（VPT）は、ほとんどのモデルパラメーターを凍結させながら、部分的に微調整できる学習可能なトークンにより、視覚変圧器（VIT）モデルのパラメーター効率の高い微調整（PEFT）アプローチの有望なソリューションとなっています。
最近の研究では、プロンプトの接続構造の変更が検討されています。
ただし、プロンプトと画像トークンの間の基本的な相関と分布は未開拓のままです。
この論文では、メトリック学習手法を活用して、プロンプトの分布が微調整パフォーマンスにどのように影響するかを調査します。
具体的には、クラス関連のセマンティックデータから距離メトリックを学習することにより、プロンプトの分布を導くために、新しいフレームワーク、Distribution Aware Visual Prompt Tuning（DA-VPT）を提案します。
私たちの方法は、プロンプトが画像パッチとクラストークンの間で意味情報を共有するための効果的なブリッジとして機能できることを示しています。
認識タスクとセグメンテーションタスクの両方で、人気のあるベンチマークに関するアプローチを広範囲に評価しました。
結果は、私たちのアプローチが、セマンティック情報を活用してプロンプトの学習を導くことにより、VITモデルのより効果的で効率的な微調整を可能にし、さまざまな下流の視覚タスクのパフォーマンスの向上につながることを示しています。

要約(オリジナル)

Visual Prompt Tuning (VPT) has become a promising solution for Parameter-Efficient Fine-Tuning (PEFT) approach for Vision Transformer (ViT) models by partially fine-tuning learnable tokens while keeping most model parameters frozen. Recent research has explored modifying the connection structures of the prompts. However, the fundamental correlation and distribution between the prompts and image tokens remain unexplored. In this paper, we leverage metric learning techniques to investigate how the distribution of prompts affects fine-tuning performance. Specifically, we propose a novel framework, Distribution Aware Visual Prompt Tuning (DA-VPT), to guide the distributions of the prompts by learning the distance metric from their class-related semantic data. Our method demonstrates that the prompts can serve as an effective bridge to share semantic information between image patches and the class token. We extensively evaluated our approach on popular benchmarks in both recognition and segmentation tasks. The results demonstrate that our approach enables more effective and efficient fine-tuning of ViT models by leveraging semantic information to guide the learning of the prompts, leading to improved performance on various downstream vision tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google