Leveraging Open-Vocabulary Diffusion to Camouflaged Instance Segmentation

要約

テキストから画像への拡散技術は、テキストの説明から高品質の画像を生成する優れた能力を示しています。
これは、視覚領域とテキスト領域の間に強い相関関係が存在することを示しています。
さらに、CLIP などのテキストと画像の識別モデルは、オープンな概念から得られる豊富で多様な情報のおかげで、テキスト プロンプトからの画像ラベル付けに優れています。
このペーパーでは、これらの技術的進歩を活用して、コンピュータ ビジョンにおける困難な問題である偽装インスタンス セグメンテーションを解決します。
具体的には、カモフラージュされたオブジェクト表現のためのマルチスケールのテキスト視覚的特徴を学習するためのオープンボキャブラリーによって強化された、最先端の拡散モデルに基づいて構築された方法を提案します。
このようなクロスドメイン表現は、オブジェクトを背景から区別するための視覚的な手がかりが微妙なカモフラージュされたオブジェクトをセグメント化する場合、特にトレーニングでは見られない新しいオブジェクトをセグメント化する場合に望ましいです。
また、クロスドメイン機能を効果的に融合し、それぞれの前景オブジェクトに関連する機能を組み込むための技術サポート コンポーネントも開発します。
私たちは手法を検証し、偽装インスタンス セグメンテーションと一般的なオープン語彙インスタンス セグメンテーションのいくつかのベンチマーク データセットで既存の手法と比較します。
実験結果は、既存の方法よりも私たちの方法が進歩していることを裏付けています。
今後の研究をサポートするために、コードと事前トレーニングされたモデルを公開します。

要約(オリジナル)

Text-to-image diffusion techniques have shown exceptional capability of producing high-quality images from text descriptions. This indicates that there exists a strong correlation between the visual and textual domains. In addition, text-image discriminative models such as CLIP excel in image labelling from text prompts, thanks to the rich and diverse information available from open concepts. In this paper, we leverage these technical advances to solve a challenging problem in computer vision: camouflaged instance segmentation. Specifically, we propose a method built upon a state-of-the-art diffusion model, empowered by open-vocabulary to learn multi-scale textual-visual features for camouflaged object representations. Such cross-domain representations are desirable in segmenting camouflaged objects where visual cues are subtle to distinguish the objects from the background, especially in segmenting novel objects which are not seen in training. We also develop technically supportive components to effectively fuse cross-domain features and engage relevant features towards respective foreground objects. We validate our method and compare it with existing ones on several benchmark datasets of camouflaged instance segmentation and generic open-vocabulary instance segmentation. Experimental results confirm the advances of our method over existing ones. We will publish our code and pre-trained models to support future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google