Contextrast: Contextual Contrastive Learning for Semantic Segmentation

要約

セマンティック セグメンテーションは大幅に改善されましたが、ローカル/グローバル コンテキストとそれらの間の関係が欠如しているため、課題は依然として残ります。
この論文では、ローカル/グローバル コンテキストをキャプチャし、それらの関係を理解できるようにする、対照学習ベースのセマンティック セグメンテーション手法である Contextast を提案します。
私たちが提案する方法は、a) 文脈対比学習 (CCL) と b) 境界認識ネガティブ (BANE) サンプリングの 2 つの部分で構成されます。
コンテキスト対比学習は、マルチスケールの特徴の集約と特徴の相互/内部の関係からローカル/グローバルのコンテキストを取得し、識別能力を向上させます。
一方、BANE サンプリングは、誤って予測された領域の境界に沿って埋め込み特徴を選択し、それらを対照学習のより強力なネガティブ サンプルとして使用し、きめ細かい詳細を利用することで境界領域に沿ったセグメンテーションの問題を解決します。
私たちは、Contextast がセマンティック セグメンテーション ネットワークのパフォーマンスを大幅に強化し、多様な公開データセットに対する最先端の対照学習アプローチを上回るパフォーマンスを示すことを実証します。
Cityscapes、CamVid、PASCAL-C、COCO-Stuff、および ADE20K。推論中の計算コストは​​増加しません。

要約(オリジナル)

Despite great improvements in semantic segmentation, challenges persist because of the lack of local/global contexts and the relationship between them. In this paper, we propose Contextrast, a contrastive learning-based semantic segmentation method that allows to capture local/global contexts and comprehend their relationships. Our proposed method comprises two parts: a) contextual contrastive learning (CCL) and b) boundary-aware negative (BANE) sampling. Contextual contrastive learning obtains local/global context from multi-scale feature aggregation and inter/intra-relationship of features for better discrimination capabilities. Meanwhile, BANE sampling selects embedding features along the boundaries of incorrectly predicted regions to employ them as harder negative samples on our contrastive learning, resolving segmentation issues along the boundary region by exploiting fine-grained details. We demonstrate that our Contextrast substantially enhances the performance of semantic segmentation networks, outperforming state-of-the-art contrastive learning approaches on diverse public datasets, e.g. Cityscapes, CamVid, PASCAL-C, COCO-Stuff, and ADE20K, without an increase in computational cost during inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google