CLUDA : Contrastive Learning in Unsupervised Domain Adaptation for Semantic Segmentation

要約

本研究では、教師ネットワークによってターゲット領域から生成された擬似ラベルを利用し、対照損失を生徒-教師学習パラダイムに組み込むことによって、意味分割のための教師なし領域適応（UDA）を行うシンプルで新しい方法であるCLUDAを提案する。具体的には、エンコーダから多値融合特徴マップを抽出し、画像のソース・ターゲット混合により、異なるクラスや異なるドメイン間で対照的損失を適用する。我々は、様々な特徴量エンコーダのアーキテクチャと、異なるドメイン適応データセットに対して、意味的セグメンテーションの性能を一貫して向上させることができる。さらに、学習重み付きコントラストロスを導入し、UDAにおける最新の多重解像度学習アプローチを改善する。GTA $Cityscapes (74.4 mIOU, +0.6) とSynthia $Cityscapes (67.2 mIOU, +1.4) データセットで、最先端の結果を得ることができました。CLUDAは、UDAにおける対照学習を汎用的な手法として効果的に示しており、既存の意味分割タスクのUDAに容易に統合することができます。実装の詳細については、補足資料を参照してください。

要約(オリジナル)

In this work, we propose CLUDA, a simple, yet novel method for performing unsupervised domain adaptation (UDA) for semantic segmentation by incorporating contrastive losses into a student-teacher learning paradigm, that makes use of pseudo-labels generated from the target domain by the teacher network. More specifically, we extract a multi-level fused-feature map from the encoder, and apply contrastive loss across different classes and different domains, via source-target mixing of images. We consistently improve performance on various feature encoder architectures and for different domain adaptation datasets in semantic segmentation. Furthermore, we introduce a learned-weighted contrastive loss to improve upon on a state-of-the-art multi-resolution training approach in UDA. We produce state-of-the-art results on GTA $\rightarrow$ Cityscapes (74.4 mIOU, +0.6) and Synthia $\rightarrow$ Cityscapes (67.2 mIOU, +1.4) datasets. CLUDA effectively demonstrates contrastive learning in UDA as a generic method, which can be easily integrated into any existing UDA for semantic segmentation tasks. Please refer to the supplementary material for the details on implementation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL