Using Unreliable Pseudo-Labels for Label-Efficient Semantic Segmentation

要約

ラベル効率の良いセマンティック セグメンテーションの核心は、大量のラベルのないデータまたは弱いラベルのデータを活用する高品質の疑似ラベルを生成することです。
一般的には、各ピクセルの疑似グラウンドトゥルースとして信頼度の高い予測を選択することですが、その場合、ほとんどのピクセルが信頼性の低さのために使用されないままになるという問題が発生します。
しかし、信頼性が低く曖昧なピクセルであっても、すべてのピクセルがモデルのトレーニングにとって重要であると私たちは主張します。
直感的には、信頼性の低い予測は上位クラスの間で混同される可能性がありますが、ピクセルが残りのクラスに属していないことについては確信を持っているはずです。
したがって、そのようなピクセルは、最も可能性の低いカテゴリに対する否定キーとして説得力をもって扱うことができます。
したがって、ラベルのないデータを十分に活用するための効果的なパイプラインを開発します。
具体的には、予測のエントロピーを介して信頼できるピクセルと信頼できないピクセルを分離し、信頼できない各ピクセルを負のキーで構成されるカテゴリごとのキューにプッシュし、すべての候補ピクセルを使用してモデルをトレーニングします。
トレーニングの進化を考慮して、信頼できる-信頼できないパーティションのしきい値を適応的に調整します。
さまざまなベンチマークやトレーニング設定での実験結果は、最先端の代替手段に対する当社のアプローチの優位性を示しています。

要約(オリジナル)

The crux of label-efficient semantic segmentation is to produce high-quality pseudo-labels to leverage a large amount of unlabeled or weakly labeled data. A common practice is to select the highly confident predictions as the pseudo-ground-truths for each pixel, but it leads to a problem that most pixels may be left unused due to their unreliability. However, we argue that every pixel matters to the model training, even those unreliable and ambiguous pixels. Intuitively, an unreliable prediction may get confused among the top classes, however, it should be confident about the pixel not belonging to the remaining classes. Hence, such a pixel can be convincingly treated as a negative key to those most unlikely categories. Therefore, we develop an effective pipeline to make sufficient use of unlabeled data. Concretely, we separate reliable and unreliable pixels via the entropy of predictions, push each unreliable pixel to a category-wise queue that consists of negative keys, and manage to train the model with all candidate pixels. Considering the training evolution, we adaptively adjust the threshold for the reliable-unreliable partition. Experimental results on various benchmarks and training settings demonstrate the superiority of our approach over the state-of-the-art alternatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google