Class-level Multiple Distributions Representation are Necessary for Semantic Segmentation

要約

既存のアプローチは、セマンティック セグメンテーションのパフォーマンスを向上させるためにクラス レベルの機能を使用することに重点を置いています。
クラス内ピクセルとクラス間ピクセルの関係をどのように特徴付けるかが、識別可能な代表的なクラス レベルの特徴を抽出するための鍵となります。
この論文では、複数の分布によるクラス内変動を説明するために初めて導入します。
次に、複数の分布表現学習 (\textbf{MDRL}) が提案され、セマンティック セグメンテーションのピクセル表現が強化されます。
一方、埋め込まれたピクセルの識別可能な複数の分布表現を構築するために、クラスの複数の分布の一貫性戦略を設計します。
さらに、対応するクラスの複数の分布を集約してピクセルのセマンティック情報を強化するために、複数の分布セマンティック集約モジュールを提唱しました。
私たちのアプローチは、一般的なセグメンテーション フレームワークである FCN/PSPNet/CCNet にシームレスに統合でき、ADE20K で 5.61\%/1.75\%/0.75\% mIoU の改善を達成できます。
Cityscapes、ADE20K データセットでの広範な実験により、私たちの方法が大幅なパフォーマンスの向上をもたらすことが証明されました。

要約(オリジナル)

Existing approaches focus on using class-level features to improve semantic segmentation performance. How to characterize the relationships of intra-class pixels and inter-class pixels is the key to extract the discriminative representative class-level features. In this paper, we introduce for the first time to describe intra-class variations by multiple distributions. Then, multiple distributions representation learning(\textbf{MDRL}) is proposed to augment the pixel representations for semantic segmentation. Meanwhile, we design a class multiple distributions consistency strategy to construct discriminative multiple distribution representations of embedded pixels. Moreover, we put forward a multiple distribution semantic aggregation module to aggregate multiple distributions of the corresponding class to enhance pixel semantic information. Our approach can be seamlessly integrated into popular segmentation frameworks FCN/PSPNet/CCNet and achieve 5.61\%/1.75\%/0.75\% mIoU improvements on ADE20K. Extensive experiments on the Cityscapes, ADE20K datasets have proved that our method can bring significant performance improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google