Boosting Semantic Segmentation from the Perspective of Explicit Class Embeddings

要約

セマンティック セグメンテーションは、ラベルを画像内の各ピクセルに関連付けるコンピューター ビジョン タスクです。
最新のアプローチでは、カテゴリ セマンティクスを深く利用するためにセマンティック セグメンテーションにクラス埋め込みを導入し、教師ありクラス マスクを最終予測と見なす傾向があります。
この論文では、クラス エンベディングのメカニズムを調査し、クラス マスクに基づいてより明示的で意味のあるクラス エンベディングを意図的に生成できるという洞察を得ました。
この観察を受けて、私たちは、多段階の画像特徴との対話中にクラスの埋め込みが取得され、明示的に強化される新しいセグメンテーション パラダイムである ECENet を提案します。
これに基づいて、従来のデコード プロセスを再検討し、セグメンテーション マスクとクラス埋め込みの間の逆転した情報フローを調査します。
さらに、バックボーンからの特徴の識別性と情報性を確保するために、特徴の多様性と冗長性の同時発生を保証するために、固有の多様なブランチを結合する特徴再構成モジュールを提案します。
実験の結果、当社の ECENet は、はるかに少ない計算コストで ADE20K データセット上で同等のパフォーマンスを上回り、PASCAL-Context データセット上で新しい最先端の結果を達成できることがわかりました。
コードは https://gitee.com/mindspore/models および https://github.com/Carol-lyh/ECENet でリリースされます。

要約(オリジナル)

Semantic segmentation is a computer vision task that associates a label with each pixel in an image. Modern approaches tend to introduce class embeddings into semantic segmentation for deeply utilizing category semantics, and regard supervised class masks as final predictions. In this paper, we explore the mechanism of class embeddings and have an insight that more explicit and meaningful class embeddings can be generated based on class masks purposely. Following this observation, we propose ECENet, a new segmentation paradigm, in which class embeddings are obtained and enhanced explicitly during interacting with multi-stage image features. Based on this, we revisit the traditional decoding process and explore inverted information flow between segmentation masks and class embeddings. Furthermore, to ensure the discriminability and informativity of features from backbone, we propose a Feature Reconstruction module, which combines intrinsic and diverse branches together to ensure the concurrence of diversity and redundancy in features. Experiments show that our ECENet outperforms its counterparts on the ADE20K dataset with much less computational cost and achieves new state-of-the-art results on PASCAL-Context dataset. The code will be released at https://gitee.com/mindspore/models and https://github.com/Carol-lyh/ECENet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google