What does CLIP know about a red circle? Visual prompt engineering for VLMs

要約

【タイトル】
VLMsのための視覚的プロンプトエンジニアリング：「赤い円」についてCLIPは何を知っているのか？

【要約】
・CLIPなどの大規模ビジョン・ランゲージモデルは、ゼロショット分類からテキストから画像生成まで、多数のアプリケーションに利用される強力な画像テキスト表現を学習する。
・しかし、彼らは大規模言語モデル（GPT-3など）の新しい判別的タスクをプロンプティングによって解決する能力に比べて、劣る。
・そのため、我々は、テキストではなく画像空間で編集することによって、クラス分類を超えたコンピュータビジョンタスクを解決するためのビジュアルプロンプトエンジニアリングのアイデアを探求する。
・特に、我々はCLIPの新しい能力を発見した。オブジェクトの周囲に赤い円を描くことで、モデルの注意をその領域に向けながら、グローバルな情報を維持することができる。
・我々は、この簡単なアプローチの力を示すために、ゼロショット言及理解で最新技術を達成し、キーポイントのローカライズタスクで強力な性能を発揮した。
・最後に、大規模言語・ビジョンモデルに関する潜在的な倫理的懸念に注意を喚起する。

要約(オリジナル)

Large-scale Vision-Language Models, such as CLIP, learn powerful image-text representations that have found numerous applications, from zero-shot classification to text-to-image generation. Despite that, their capabilities for solving novel discriminative tasks via prompting fall behind those of large language models, such as GPT-3. Here we explore the idea of visual prompt engineering for solving computer vision tasks beyond classification by editing in image space instead of text. In particular, we discover an emergent ability of CLIP, where, by simply drawing a red circle around an object, we can direct the model’s attention to that region, while also maintaining global information. We show the power of this simple approach by achieving state-of-the-art in zero-shot referring expressions comprehension and strong performance in keypoint localization tasks. Finally, we draw attention to some potential ethical concerns of large language-vision models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI