Attention Prompting on Image for Large Vision-Language Models

要約

大規模言語モデル (LLM) と比較して、大規模視覚言語モデル (LVLM) は画像を入力として受け入れることもできるため、より興味深い創発機能を示し、さまざまな視覚言語タスクで優れたパフォーマンスを実証します。
LLM のテキスト プロンプトを動機として、LVLM の視覚情報を認識する能力を強化するために視覚的なプロンプトが検討されてきました。
ただし、以前の視覚的プロンプト技術は、テキスト クエリを考慮せずに視覚的入力のみを処理するため、テキストの指示に従ってタスクを完了するモデルの能力が制限されていました。
このギャップを埋めるために、この研究では、画像上のアテンション プロンプトと呼ばれる新しいプロンプト技術を提案します。これは、元の入力画像にテキストクエリに基づいたアテンション ヒートマップを単純にオーバーレイするだけで、さまざまなタスクの LVLM を効果的に強化します。
具体的には、CLIP のような補助モデルを使用して、テキスト クエリに応じて入力画像のアテンション ヒートマップを生成します。
次に、ヒートマップは元のイメージのピクセル値を単純に乗算して、LVLM の実際の入力イメージを取得します。
さまざまなビジョン言語ベンチマークに関する広範な実験により、私たちの技術の有効性が検証されています。
たとえば、画像上の注意プロンプトにより、LLaVA-1.5 は MM-Vet ベンチマークで 3.8%、LLaVA-Wild ベンチマークで 2.9% 向上します。

要約(オリジナル)

Compared with Large Language Models (LLMs), Large Vision-Language Models (LVLMs) can also accept images as input, thus showcasing more interesting emergent capabilities and demonstrating impressive performance on various vision-language tasks. Motivated by text prompting in LLMs, visual prompting has been explored to enhance LVLMs’ capabilities of perceiving visual information. However, previous visual prompting techniques solely process visual inputs without considering text queries, limiting the models’ ability to follow text instructions to complete tasks. To fill this gap, in this work, we propose a new prompting technique named Attention Prompting on Image, which just simply overlays a text-query-guided attention heatmap on the original input image and effectively enhances LVLM on various tasks. Specifically, we generate an attention heatmap for the input image dependent on the text query with an auxiliary model like CLIP. Then the heatmap simply multiplies the pixel values of the original image to obtain the actual input image for the LVLM. Extensive experiments on various vison-language benchmarks verify the effectiveness of our technique. For example, Attention Prompting on Image improves LLaVA-1.5 by 3.8% and 2.9% on MM-Vet and LLaVA-Wild benchmarks, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google