Positive-Negative Equal Contrastive Loss for Semantic Segmentation

要約

コンテキスト情報は、さまざまなコンピューター ビジョン タスクにとって重要です。以前の研究では、一般的にプラグ アンド プレイ モジュールと構造的損失を設計して、グローバル コンテキストを効果的に抽出および集約しています。
これらの方法は、細かいラベルを使用してモデルを最適化しますが、細かいトレーニングされた機能も貴重なトレーニング リソースであることを無視しており、ハード ピクセル (誤分類されたピクセル) に好ましい分布を導入する可能性があります。
教師なしパラダイムの対照的学習に着想を得て、教師付きの方法で対照的損失を適用し、損失関数を再設計して、教師なし学習のステレオタイプを脱ぎ捨てます (例: ポジティブとネガティブの不均衡、アンカー コンピューティングの混乱)。
この目的のために、正と負の等しいコントラスト損失 (PNE 損失) を提案します。これは、アンカーへの正の埋め込みの潜在的な影響を増加させ、正と負のサンプル ペアを等しく扱います。
PNE 損失は、既存のセマンティック セグメンテーション フレームワークに直接差し込むことができ、無視できるほどの余分な計算コストで優れたパフォーマンスを実現します。
多くの従来のセグメンテーション手法 (DeepLabV3、HRNetV2、OCRNet、UperNet など) とバックボーン (ResNet、HRNet、Swin Transformer など) を利用して、包括的な実験を実施し、3 つのベンチマーク データセットで最先端のパフォーマンスを達成します (
例: Cityscapes、COCO-Stuff、ADE20K)。
私たちのコードはまもなく公開されます。

要約(オリジナル)

The contextual information is critical for various computer vision tasks, previous works commonly design plug-and-play modules and structural losses to effectively extract and aggregate the global context. These methods utilize fine-label to optimize the model but ignore that fine-trained features are also precious training resources, which can introduce preferable distribution to hard pixels (i.e., misclassified pixels). Inspired by contrastive learning in unsupervised paradigm, we apply the contrastive loss in a supervised manner and re-design the loss function to cast off the stereotype of unsupervised learning (e.g., imbalance of positives and negatives, confusion of anchors computing). To this end, we propose Positive-Negative Equal contrastive loss (PNE loss), which increases the latent impact of positive embedding on the anchor and treats the positive as well as negative sample pairs equally. The PNE loss can be directly plugged right into existing semantic segmentation frameworks and leads to excellent performance with neglectable extra computational costs. We utilize a number of classic segmentation methods (e.g., DeepLabV3, HRNetV2, OCRNet, UperNet) and backbone (e.g., ResNet, HRNet, Swin Transformer) to conduct comprehensive experiments and achieve state-of-the-art performance on three benchmark datasets (e.g., Cityscapes, COCO-Stuff and ADE20K). Our code will be publicly available soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google