Delving into Shape-aware Zero-shot Semantic Segmentation

要約

タイトル：形状を考慮したゼロショットのセマンティックセグメンテーションの探索
要約：大規模なビジョン・ランゲージの事前学習の進展により、最近の認識モデルは、驚くほど高い精度でゼロショットおよびオープンセットで任意の物体を分類できます。しかし、この成功をセマンティックセグメンテーションに翻訳することは容易ではありません。密な予測タスクは、正確な意味理解だけでなく、細かい形状の描画を必要とし、既存のビジョン・ランゲージモデルは画像レベルの言語説明で訓練されています。このギャップを埋めるために、この研究では形状を考慮したゼロショットのセマンティックセグメンテーションを追求します。画像セグメンテーションの文献にある古典的なスペクトル法に着想を得て、自己監督的なピクセル単位の特徴で構成されたラプラシアン行列の固有ベクトルを利用して形状の認識を促進することを提案します。この単純で効果的な技術は見えるクラスのマスクを全く使用しないにもかかわらず、訓練中に地面の真のエッジと予測されたエッジを整列させる最先端の形状に敏感なフォーミュレーションを上回ることを示します。さらに、異なるデータセットで異なるバックボーンを使用して達成されたパフォーマンスの向上について探求し、いくつかの興味深く決定的な観察を得ました。形状を認識する利点はマスクのコンパクトさと言語組み込み領域と密接に関係しています。最終的に、当社の手法は、PascalおよびCOCOのゼロショットのセマンティックセグメンテーションにおいて新しい最先端の性能を発揮し、有意なマージンを提供します。コードとモデルはhttps://github.com/Liuxinyv/SAZSでアクセスできます。

– 大規模なビジョン・ランゲージの事前学習の進展により、最近の認識モデルは、驚くほど高い精度でゼロショットおよびオープンセットで任意の物体を分類できます。
– この研究では、形状を考慮したゼロショットのセマンティックセグメンテーションを追求します。
– 古典的なスペクトル法に着想を得て、自己監督的なピクセル単位の特徴で構成されたラプラシアン行列の固有ベクトルを利用して形状の認識を促進することを提案します。
– 形状を認識する利点はマスクのコンパクトさと言語組み込み領域と密接に関係しています。
– 最終的に、当社の手法は、PascalおよびCOCOのゼロショットのセマンティックセグメンテーションにおいて新しい最先端の性能を発揮し、有意なマージンを提供します。

要約(オリジナル)

Thanks to the impressive progress of large-scale vision-language pretraining, recent recognition models can classify arbitrary objects in a zero-shot and open-set manner, with a surprisingly high accuracy. However, translating this success to semantic segmentation is not trivial, because this dense prediction task requires not only accurate semantic understanding but also fine shape delineation and existing vision-language models are trained with image-level language descriptions. To bridge this gap, we pursue \textbf{shape-aware} zero-shot semantic segmentation in this study. Inspired by classical spectral methods in the image segmentation literature, we propose to leverage the eigen vectors of Laplacian matrices constructed with self-supervised pixel-wise features to promote shape-awareness. Despite that this simple and effective technique does not make use of the masks of seen classes at all, we demonstrate that it out-performs a state-of-the-art shape-aware formulation that aligns ground truth and predicted edges during training. We also delve into the performance gains achieved on different datasets using different backbones and draw several interesting and conclusive observations: the benefits of promoting shape-awareness highly relates to mask compactness and language embedding locality. Finally, our method sets new state-of-the-art performance for zero-shot semantic segmentation on both Pascal and COCO, with significant margins. Code and models will be accessed at https://github.com/Liuxinyv/SAZS.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI