Open-world Semantic Segmentation via Contrasting and Clustering Vision-Language Embedding

要約

教師ありセグメンテーションと、任意の新しい概念を認識するために1つのモデルを取得する実際のアプリケーションとの間のギャップを埋めるために、最近のゼロショットセグメンテーションは、見えないオブジェクトカテゴリと見えるオブジェクトカテゴリの関係を調査することで多くの注目を集めていますが、大量の高密度を必要とします
-多様な基本クラスの注釈付きデータ。
この論文では、自然に存在する画像キャプションデータを純粋に活用することにより、密な注釈に努力することなく、さまざまなオープンワールドカテゴリのセマンティックオブジェクトをセグメント化することを学ぶ最初の試みを行う新しいオープンワールドセマンティックセグメンテーションパイプラインを提案します。
インターネット。
私たちの方法であるビジョン言語駆動型セマンティックセグメンテーション（ViL-Seg）は、画像とテキストエンコーダーを使用して、画像キャプションデータの視覚的およびテキスト埋め込みを生成します。
エンコーダーは、視覚ベースのコントラストとクロスモーダルコントラストで共同でトレーニングされます。これにより、視覚的な埋め込みが、セグメンテーションタスクに不可欠なきめ細かいセマンティクスと高レベルのカテゴリ情報の両方を保持するようになります。
さらに、画像エンコーダー上にオンラインクラスタリングヘッドが考案されています。これにより、視覚的な埋め込みを個別のセマンティックグループに動的にセグメント化できるため、さまざまなテキスト埋め込みと比較してセグメント化パイプラインを完成させることができます。
実験によると、高密度の注釈を含むデータを使用せずに、このメソッドは任意のカテゴリのオブジェクトを直接セグメント化でき、3つのベンチマークデータセットでのデータラベル付けを必要とするゼロショットセグメンテーションメソッドよりも優れています。

要約(オリジナル)

To bridge the gap between supervised semantic segmentation and real-world applications that acquires one model to recognize arbitrary new concepts, recent zero-shot segmentation attracts a lot of attention by exploring the relationships between unseen and seen object categories, yet requiring large amounts of densely-annotated data with diverse base classes. In this paper, we propose a new open-world semantic segmentation pipeline that makes the first attempt to learn to segment semantic objects of various open-world categories without any efforts on dense annotations, by purely exploiting the image-caption data that naturally exist on the Internet. Our method, Vision-language-driven Semantic Segmentation (ViL-Seg), employs an image and a text encoder to generate visual and text embeddings for the image-caption data, with two core components that endow its segmentation ability: First, the image encoder is jointly trained with a vision-based contrasting and a cross-modal contrasting, which encourage the visual embeddings to preserve both fine-grained semantics and high-level category information that are crucial for the segmentation task. Furthermore, an online clustering head is devised over the image encoder, which allows to dynamically segment the visual embeddings into distinct semantic groups such that they can be classified by comparing with various text embeddings to complete our segmentation pipeline. Experiments show that without using any data with dense annotations, our method can directly segment objects of arbitrary categories, outperforming zero-shot segmentation methods that require data labeling on three benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google