Semi-Supervised Semantic Segmentation via Gentle Teaching Assistant

要約

半教師付きセマンティック セグメンテーションは、限られたラベル付きデータと大量のラベルなしデータを使用してセグメンテーション モデルをトレーニングすることを目的としています。
ラベル付けされていないデータを効果的に活用するために、半教師付きセマンティック セグメンテーションでは、教師と生徒のフレームワークと共に疑似ラベル付けが広く採用されています。
このパラダイムは効果的であることが証明されていますが、必然的に存在し、補助トレーニング データとして使用される誤った疑似ラベルの影響を受けます。
誤った疑似ラベルの悪影響を軽減するために、現在の半教師付きセマンティック セグメンテーション フレームワークを詳しく調べます。
疑似ラベルを持つラベルのないデータは、特徴抽出器での代表的な特徴の学習を容易にすることができると主張しますが、マスク予測器を監視することは信頼できません。
この考慮事項に動機付けられて、学生モデルの特徴抽出器とマスク予測器に対する疑似ラベルの影響を解きほぐすための新しいフレームワーク、Gentle Teaching Assistant (GTA-Seg) を提案します。
具体的には、元の教師と生徒のフレームワークに加えて、教師ネットワークによって生成された擬似ラベルから直接学習するティーチング アシスタント ネットワークを導入します。
ジェントル ティーチング アシスタント (GTA) はジェントルという造語です。これは、指数移動平均 (EMA) 方式で特徴抽出器の有益な特徴表現知識を学生モデルに転送するだけであり、信頼できない疑似ラベルによって引き起こされる負の影響から学生モデルを保護するためです。
マスク予測子で。
また、学生モデルは、信頼できるラベル付きデータによって監視され、正確なマスク予測子をトレーニングし、特徴の表現をさらに容易にします。
ベンチマーク データセットに関する広範な実験結果は、私たちの方法が以前の方法に対して競争力のあるパフォーマンスを示すことを検証します。
コードは https://github.com/Jin-Ying/GTA-Seg で入手できます。

要約(オリジナル)

Semi-Supervised Semantic Segmentation aims at training the segmentation model with limited labeled data and a large amount of unlabeled data. To effectively leverage the unlabeled data, pseudo labeling, along with the teacher-student framework, is widely adopted in semi-supervised semantic segmentation. Though proved to be effective, this paradigm suffers from incorrect pseudo labels which inevitably exist and are taken as auxiliary training data. To alleviate the negative impact of incorrect pseudo labels, we delve into the current Semi-Supervised Semantic Segmentation frameworks. We argue that the unlabeled data with pseudo labels can facilitate the learning of representative features in the feature extractor, but it is unreliable to supervise the mask predictor. Motivated by this consideration, we propose a novel framework, Gentle Teaching Assistant (GTA-Seg) to disentangle the effects of pseudo labels on feature extractor and mask predictor of the student model. Specifically, in addition to the original teacher-student framework, our method introduces a teaching assistant network which directly learns from pseudo labels generated by the teacher network. The gentle teaching assistant (GTA) is coined gentle since it only transfers the beneficial feature representation knowledge in the feature extractor to the student model in an Exponential Moving Average (EMA) manner, protecting the student model from the negative influences caused by unreliable pseudo labels in the mask predictor. The student model is also supervised by reliable labeled data to train an accurate mask predictor, further facilitating feature representation. Extensive experiment results on benchmark datasets validate that our method shows competitive performance against previous methods. Code is available at https://github.com/Jin-Ying/GTA-Seg.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google