Weighting Pseudo-Labels via High-Activation Feature Index Similarity and Object Detection for Semi-Supervised Segmentation

要約

半教師ありセマンティック セグメンテーション手法では、ラベルのないデータに疑似ラベルを付けることでデータを活用します。
したがって、これらの方法の成功は、擬似ラベルの信頼性にかかっています。
既存の方法では、ほとんどの場合、誤った擬似ラベルを回避するために信頼度の高いピクセルが選択されます。
ただし、高い信頼性は、特に最初のトレーニング反復において正しい擬似ラベルを保証するものではありません。
この論文では、疑似ラベルから確実に学習するための新しいアプローチを提案します。
まず、トレーニングされたオブジェクト検出器とセマンティック セグメンテーション モデルからの予測を統合して、信頼できる擬似ラベル ピクセルを特定します。
次に、ノイズの多いトレーニング信号を避けるために、擬似ラベル付きピクセルに異なる学習重みを割り当てます。
これらの重みを決定するには、最初のステップで識別された信頼できる擬似ラベル ピクセルとラベル付きピクセルを使用して、各クラスのプロトタイプを構築します。
次に、ピクセルごとの重みは、ランク統計の類似性によって測定される、ピクセルとプロトタイプの間の構造の類似性です。
このメトリクスはノイズに対して堅牢であるため、特に間違った疑似ラベルが発生しやすい初期トレーニング段階で、ラベルのない画像からの特徴を比較するのに適しています。
私たちの手法が 4 つの半教師ありセマンティック セグメンテーション フレームワークに簡単に統合でき、Cityscapes と Pascal VOC データセットの両方で改善できることを示します。

要約(オリジナル)

Semi-supervised semantic segmentation methods leverage unlabeled data by pseudo-labeling them. Thus the success of these methods hinges on the reliablility of the pseudo-labels. Existing methods mostly choose high-confidence pixels in an effort to avoid erroneous pseudo-labels. However, high confidence does not guarantee correct pseudo-labels especially in the initial training iterations. In this paper, we propose a novel approach to reliably learn from pseudo-labels. First, we unify the predictions from a trained object detector and a semantic segmentation model to identify reliable pseudo-label pixels. Second, we assign different learning weights to pseudo-labeled pixels to avoid noisy training signals. To determine these weights, we first use the reliable pseudo-label pixels identified from the first step and labeled pixels to construct a prototype for each class. Then, the per-pixel weight is the structural similarity between the pixel and the prototype measured via rank-statistics similarity. This metric is robust to noise, making it better suited for comparing features from unlabeled images, particularly in the initial training phases where wrong pseudo labels are prone to occur. We show that our method can be easily integrated into four semi-supervised semantic segmentation frameworks, and improves them in both Cityscapes and Pascal VOC datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google