ECAP: Extensive Cut-and-Paste Augmentation for Unsupervised Domain Adaptive Semantic Segmentation

要約

モデルがラベル付きソース データセットでトレーニングされ、ラベルなしターゲット データセットに適応されるセマンティック セグメンテーション用の教師なしドメイン アダプテーション (UDA) を検討します。
残念ながら、現在の自己トレーニング方法は、誤った予測によって誤って分類された擬似ラベルの影響を受けやすくなっています。
通常、UDA では特定のクラスが信頼性の低い予測に関連付けられているため、トレーニングを一部のクラスに偏らせることなく、そのような疑似ラベルの影響を軽減することは非常に難しいことで知られています。
この目的を達成するために、データ拡張を通じて信頼性の高い疑似ラベルを活用するための広範なカットアンドペースト戦略 (ECAP) を提案します。
具体的には、ECAP はトレーニング全体を通じて擬似ラベル付きターゲット サンプルのメモリ バンクを維持し、最も信頼性の高いサンプルを現在のトレーニング バッチにカット アンド ペーストします。
最新のメソッド MIC に加えて ECAP を実装し、2 つの合成ドメインから実ドメインへの適応ベンチマークでのパフォーマンスを向上させます。
特に、MIC+ECAP は、Synthia->Cityscapes ベンチマークで 69.1 mIoU という前例のないパフォーマンスに達しています。
私たちのコードは https://github.com/ErikBrorsson/ECAP で入手できます。

要約(オリジナル)

We consider unsupervised domain adaptation (UDA) for semantic segmentation in which the model is trained on a labeled source dataset and adapted to an unlabeled target dataset. Unfortunately, current self-training methods are susceptible to misclassified pseudo-labels resulting from erroneous predictions. Since certain classes are typically associated with less reliable predictions in UDA, reducing the impact of such pseudo-labels without skewing the training towards some classes is notoriously difficult. To this end, we propose an extensive cut-and-paste strategy (ECAP) to leverage reliable pseudo-labels through data augmentation. Specifically, ECAP maintains a memory bank of pseudo-labeled target samples throughout training and cut-and-pastes the most confident ones onto the current training batch. We implement ECAP on top of the recent method MIC and boost its performance on two synthetic-to-real domain adaptation benchmarks. Notably, MIC+ECAP reaches an unprecedented performance of 69.1 mIoU on the Synthia->Cityscapes benchmark. Our code is available at https://github.com/ErikBrorsson/ECAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google