Semi-supervised Semantic Segmentation with Mutual Knowledge Distillation

要約

一貫性の正則化は、最近の半教師付きセマンティック セグメンテーション法で広く研究されています。
画像、機能、およびネットワークの摂動の恩恵を受けて、驚くべきパフォーマンスが達成されました。
これらの摂動を最大限に活用するために、この作業では、相互知識蒸留 (MKD) と呼ばれる新しい一貫性正則化フレームワークを提案します。
一貫性正則化法に基づく 2 つの補助平均教師モデルを革新的に導入します。
より具体的には、一方の平均的な教師によって生成された疑似ラベルを使用して、他方の生徒ネットワークを監督し、2 つのブランチ間の相互知識の蒸留を実現します。
画像レベルの強い拡張と弱い拡張を使用することに加えて、暗黙のセマンティック分布を考慮した機能拡張も使用して、学生にさらに摂動を追加します。
提案されたフレームワークにより、トレーニング サンプルの多様性が大幅に向上します。
公開ベンチマークに関する広範な実験により、当社のフレームワークは、さまざまな半教師付き設定の下で、以前の最先端 (SOTA) メソッドよりも優れていることが示されています。
コードは https://github.com/jianlong-yuan/semi-mmseg で入手できます。

要約(オリジナル)

Consistency regularization has been widely studied in recent semi-supervised semantic segmentation methods. Remarkable performance has been achieved, benefiting from image, feature, and network perturbations. To make full use of these perturbations, in this work, we propose a new consistency regularization framework called mutual knowledge distillation (MKD). We innovatively introduce two auxiliary mean-teacher models based on the consistency regularization method. More specifically, we use the pseudo label generated by one mean teacher to supervise the other student network to achieve a mutual knowledge distillation between two branches. In addition to using image-level strong and weak augmentation, we also employ feature augmentation considering implicit semantic distributions to add further perturbations to the students. The proposed framework significantly increases the diversity of the training samples. Extensive experiments on public benchmarks show that our framework outperforms previous state-of-the-art(SOTA) methods under various semi-supervised settings. Code is available at: https://github.com/jianlong-yuan/semi-mmseg.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google