Self Correspondence Distillation for End-to-End Weakly-Supervised Semantic Segmentation

要約

画像レベルのラベルを使用して、弱教師ありセマンティック セグメンテーション (WSSS) の正確なディープ モデルを効率的にトレーニングすることは、困難で重要です。
最近、エンドツーエンドの WSSS メソッドは、トレーニング効率が高いため、研究の焦点になっています。
ただし、現在の方法では、包括的なセマンティック情報の抽出が不十分なため、エンドツーエンドの WSSS に対して低品質の疑似ラベルと次善のソリューションが得られます。
この目的のために、外部監督を導入することなく疑似ラベルを改良するためのシンプルで斬新な自己対応蒸留 (SCD) メソッドを提案します。
私たちの SCD により、ネットワークはそれ自体から派生した特徴対応を抽出ターゲットとして利用できるようになり、セマンティック情報を補完することでネットワークの特徴学習プロセスを強化できます。
さらに、セグメンテーションの精度をさらに向上させるために、Variation-aware Refine Module を設計して、ピクセルレベルの変動を計算することにより、疑似ラベルの局所的な一貫性を高めます。
最後に、正確な WSSS タスクのために、SCD および変動認識モジュールを介した効率的なエンドツーエンドの Transformer ベースのフレームワーク (TSCD) を提示します。
PASCAL VOC 2012 および MS COCO 2014 データセットでの広範な実験により、私たちの方法が他の最先端の方法よりも大幅に優れていることが示されています。
コードは {https://github.com/Rongtao-Xu/RepresentationLearning/tree/main/SCD-AAAI2023} で入手できます。

要約(オリジナル)

Efficiently training accurate deep models for weakly supervised semantic segmentation (WSSS) with image-level labels is challenging and important. Recently, end-to-end WSSS methods have become the focus of research due to their high training efficiency. However, current methods suffer from insufficient extraction of comprehensive semantic information, resulting in low-quality pseudo-labels and sub-optimal solutions for end-to-end WSSS. To this end, we propose a simple and novel Self Correspondence Distillation (SCD) method to refine pseudo-labels without introducing external supervision. Our SCD enables the network to utilize feature correspondence derived from itself as a distillation target, which can enhance the network’s feature learning process by complementing semantic information. In addition, to further improve the segmentation accuracy, we design a Variation-aware Refine Module to enhance the local consistency of pseudo-labels by computing pixel-level variation. Finally, we present an efficient end-to-end Transformer-based framework (TSCD) via SCD and Variation-aware Refine Module for the accurate WSSS task. Extensive experiments on the PASCAL VOC 2012 and MS COCO 2014 datasets demonstrate that our method significantly outperforms other state-of-the-art methods. Our code is available at {https://github.com/Rongtao-Xu/RepresentationLearning/tree/main/SCD-AAAI2023}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google