Conflict-Based Cross-View Consistency for Semi-Supervised Semantic Segmentation

要約

半教師付きセマンティックセグメンテーションは、大量の非ラベルデータを効果的に利用することで、大規模な完全注釈付き学習データの必要性を低減できるため、最近、研究上の関心が高まっている。現在の手法では、擬似ラベリング処理による確認バイアスに悩まされることが多いが、これを軽減することができるのが、協調訓練フレームワークである。現在のコ・トレーニングに基づく半教師付き意味分割法は、異なるサブネットが互いに崩壊するのを防ぐために、手作業による摂動に頼っているが、これらの人工的な摂動は最適解を導くことができない。本研究では、半教師付き意味分割のための2分岐共訓練フレームワークに基づく、新しい衝突に基づくクロスビュー整合性（CCVC）法を提案する。我々の仕事は、無関係なビューから有益な特徴を学習するために、2つのサブネットを強制することを目的としている。特に、我々はまず新しいクロスビューコンシステンシー（CVC）戦略を提案する。これは、特徴の不一致損失を導入することにより、2つのサブネットが同じ入力から異なる特徴を学習することを促すもので、これらの異なる特徴は入力の予測スコアに一貫性をもたらすと期待される。CVC戦略は、2つのサブネットが破綻に踏み込むことを防ぐのに役立つ。さらに、矛盾に基づく擬似ラベリング（CPL）法を提案し、モデルが矛盾した予測からより有用な情報を学習することを保証し、安定した学習プロセスを導く。この新しい半教師付きセマンティックセグメンテーション手法を、広く使われているベンチマークデータセットであるPASCAL VOC 2012とCityscapesで検証したところ、我々の手法は最先端の性能を達成することができた。

要約(オリジナル)

Semi-supervised semantic segmentation has recently gained increasing research interest as it can reduce the requirement for large-scale fully-annotated training data by effectively exploiting large amounts of unlabelled data. The current methods often suffer from the confirmation bias from the pseudo-labelling process, which can be alleviated by the co-training framework. The current co-training-based semi-supervised semantic segmentation methods rely on hand-crafted perturbations to prevent the different sub-nets from collapsing into each other, but these artificial perturbations cannot lead to the optimal solution. In this work, we propose a new conflict-based cross-view consistency (CCVC) method based on a two-branch co-training framework for semi-supervised semantic segmentation. Our work aims at enforcing the two sub-nets to learn informative features from irrelevant views. In particular, we first propose a new cross-view consistency (CVC) strategy that encourages the two sub-nets to learn distinct features from the same input by introducing a feature discrepancy loss, while these distinct features are expected to generate consistent prediction scores of the input. The CVC strategy helps to prevent the two sub-nets from stepping into the collapse. In addition, we further propose a conflict-based pseudo-labelling (CPL) method to guarantee the model will learn more useful information from conflicting predictions, which will lead to a stable training process. We validate our new semi-supervised semantic segmentation approach on the widely used benchmark datasets PASCAL VOC 2012 and Cityscapes, where our method achieves new state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL