Visual In-Context Prompting

要約

大規模言語モデル (LLM) でのコンテキスト内プロンプトは、ゼロショット機能を向上させるための一般的なアプローチになっていますが、このアイデアはビジョン領域ではあまり検討されていません。
既存の視覚的プロンプト手法は、セグメンテーションを参照して最も関連性の高いオブジェクトをセグメント化することに焦点を当てており、オープンセットのセグメンテーションや検出などの多くの一般的な視覚タスクに対処するには不十分です。
このペーパーでは、両方のタスクに対して、コンテキスト内で視覚的にプロンプ​​トを表示する普遍的なフレームワークを紹介します。
特に、エンコーダ/デコーダ アーキテクチャの上に構築し、ストローク、ボックス、ポイントなどのさまざまなプロンプトをサポートする多用途のプロンプト エンコーダを開発します。
これをさらに拡張して、任意の数の参照画像セグメントをコンテキストとして取得します。
私たちの広範な調査の結果、提案された視覚的なコンテキスト内プロンプトが、参照および検出するための並外れた参照機能と汎用セグメンテーション機能を引き出し、クローズセット内のドメイン データセットに対して競争力のあるパフォーマンスをもたらし、多くのオープンセット セグメンテーション データセットに対して有望な結果を示すことがわかりました。
COCO と SA-1B での共同トレーニングにより、私たちのモデルは COCO で $57.7$ PQ、ADE20K で $23.2$ PQ を達成しました。
コードは https://github.com/UX-Decoder/DINOv で入手できます。

要約(オリジナル)

In-context prompting in large language models (LLMs) has become a prevalent approach to improve zero-shot capabilities, but this idea is less explored in the vision domain. Existing visual prompting methods focus on referring segmentation to segment the most relevant object, falling short of addressing many generic vision tasks like open-set segmentation and detection. In this paper, we introduce a universal visual in-context prompting framework for both tasks. In particular, we build on top of an encoder-decoder architecture, and develop a versatile prompt encoder to support a variety of prompts like strokes, boxes, and points. We further enhance it to take an arbitrary number of reference image segments as the context. Our extensive explorations show that the proposed visual in-context prompting elicits extraordinary referring and generic segmentation capabilities to refer and detect, yielding competitive performance to close-set in-domain datasets and showing promising results on many open-set segmentation datasets. By joint training on COCO and SA-1B, our model achieves $57.7$ PQ on COCO and $23.2$ PQ on ADE20K. Code will be available at https://github.com/UX-Decoder/DINOv.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google