Learning Visual Prompts for Guiding the Attention of Vision Transformers

要約

視覚的なプロンプトは、入力画像に視覚的な情報を注入して、特定の予測やタスクに合わせてモデルを適応させます。
最近では、モデルが画像上のターゲット領域に注目するようにガイドするために、赤い円などの手動で作成されたマーカーが表示されます。
ただし、これらのマーカーは、それらのマーカーを含むデータでトレーニングされたモデルでのみ機能します。
さらに、これらのプロンプトを見つけるには、モデルがトレーニングされるドメインについての推測や事前知識が必要です。
この研究は、視覚変換者の注意を誘導するための視覚的なプロンプトを学習することを提案することにより、手動の設計制約を回避します。
任意の入力画像に追加された学習された視覚プロンプトは、事前に訓練されたビジョン トランスフォーマーの注意を画像上のその空間位置にリダイレクトします。
具体的には、プロンプトは、注釈を必要とせず、ビジョン トランスフォーマーを微調整することなく、自己教師付きの方法で学習されます。
私たちの実験は、さまざまな事前トレーニング済みビジョン エンコーダにわたって、提案された最適化ベースの視覚プロンプト戦略の有効性を実証しています。

要約(オリジナル)

Visual prompting infuses visual information into the input image to adapt models toward specific predictions and tasks. Recently, manually crafted markers such as red circles are shown to guide the model to attend to a target region on the image. However, these markers only work on models trained with data containing those markers. Moreover, finding these prompts requires guesswork or prior knowledge of the domain on which the model is trained. This work circumvents manual design constraints by proposing to learn the visual prompts for guiding the attention of vision transformers. The learned visual prompt, added to any input image would redirect the attention of the pre-trained vision transformer to its spatial location on the image. Specifically, the prompt is learned in a self-supervised manner without requiring annotations and without fine-tuning the vision transformer. Our experiments demonstrate the effectiveness of the proposed optimization-based visual prompting strategy across various pre-trained vision encoders.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google