Self-training via Metric Learning for Source-Free Domain Adaptation of Semantic Segmentation

要約

教師なしソースフリー ドメイン適応方法は、事前トレーニング済みのソース ドメイン モデルとラベル付けされていないターゲット ドメイン データを利用して、ターゲット ドメインで使用されるモデルをトレーニングすることを目的としています。この場合、知的財産またはプライバシーの問題のためにソース データにアクセスできない場合があります。
これらの方法では、予測の信頼度によってしきい値が設定された疑似ラベリングを使用した自己トレーニングが頻繁に利用されます。
ソースフリーのシナリオでは、スーパービジョンのみがターゲット データから取得され、しきい値はセルフ トレーニングの貢献を制限します。
この研究では、平均的な教師のアプローチでセルフトレーニングを利用しています。
生徒のネットワークは、教師のネットワークのすべての予測でトレーニングされます。
予測をしきい値処理する代わりに、疑似ラベルから計算された勾配が、教師の予測の信頼性に基づいて重み付けされます。
プロキシベースのメトリック学習を使用して信頼性を推定する新しい方法を提案します。
教師ネットワークのエンコーダー機能でメトリック ネットワークをトレーニングします。
教師は移動平均で更新されるため、エンコーダの特徴空間はゆっくりと変化しています。
したがって、メトリック ネットワークはトレーニング時に更新でき、エンド ツー エンドのトレーニングが可能になります。
また、混合するパッチがメトリックの信頼性に基づいて決定される学生ネットワークの入力を増強するメトリックベースのオンライン ClassMix メソッドを提案します。
合成から現実へのシナリオと都市間のシナリオでこの方法を評価しました。
ベンチマークは、私たちの方法が既存の最先端の方法よりも大幅に優れていることを示しています。

要約(オリジナル)

Unsupervised source-free domain adaptation methods aim to train a model to be used in the target domain utilizing the pretrained source-domain model and unlabeled target-domain data, where the source data may not be accessible due to intellectual property or privacy issues. These methods frequently utilize self-training with pseudo-labeling thresholded by prediction confidence. In a source-free scenario, only supervision comes from target data, and thresholding limits the contribution of the self-training. In this study, we utilize self-training with a mean-teacher approach. The student network is trained with all predictions of the teacher network. Instead of thresholding the predictions, the gradients calculated from the pseudo-labels are weighted based on the reliability of the teacher’s predictions. We propose a novel method that uses proxy-based metric learning to estimate reliability. We train a metric network on the encoder features of the teacher network. Since the teacher is updated with the moving average, the encoder feature space is slowly changing. Therefore, the metric network can be updated in training time, which enables end-to-end training. We also propose a metric-based online ClassMix method to augment the input of the student network where the patches to be mixed are decided based on the metric reliability. We evaluated our method in synthetic-to-real and cross-city scenarios. The benchmarks show that our method significantly outperforms the existing state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google