要約
本研究では、教師ネットワークによってターゲット領域から生成された擬似ラベルを利用し、対照損失を生徒-教師学習パラダイムに組み込むことによって、意味分割のための教師なし領域適応(UDA)を行うシンプルで新しい方法であるCLUDAを提案する。具体的には、エンコーダから多値融合特徴マップを抽出し、画像のソース・ターゲット混合により、異なるクラスや異なるドメイン間で対照的損失を適用する。我々は、様々な特徴量エンコーダのアーキテクチャと、異なるドメイン適応データセットに対して、意味的セグメンテーションの性能を一貫して向上させることができる。さらに、学習重み付きコントラストロスを導入し、UDAにおける最新の多重解像度学習アプローチを改善する。GTA $Cityscapes (74.4 mIOU, +0.6) とSynthia $Cityscapes (67.2 mIOU, +1.4) データセットで、最先端の結果を得ることができました。CLUDAは、UDAにおける対照学習を汎用的な手法として効果的に示しており、既存の意味分割タスクのUDAに容易に統合することができます。実装の詳細については、補足資料を参照してください。
要約(オリジナル)
In this work, we propose CLUDA, a simple, yet novel method for performing unsupervised domain adaptation (UDA) for semantic segmentation by incorporating contrastive losses into a student-teacher learning paradigm, that makes use of pseudo-labels generated from the target domain by the teacher network. More specifically, we extract a multi-level fused-feature map from the encoder, and apply contrastive loss across different classes and different domains, via source-target mixing of images. We consistently improve performance on various feature encoder architectures and for different domain adaptation datasets in semantic segmentation. Furthermore, we introduce a learned-weighted contrastive loss to improve upon on a state-of-the-art multi-resolution training approach in UDA. We produce state-of-the-art results on GTA $\rightarrow$ Cityscapes (74.4 mIOU, +0.6) and Synthia $\rightarrow$ Cityscapes (67.2 mIOU, +1.4) datasets. CLUDA effectively demonstrates contrastive learning in UDA as a generic method, which can be easily integrated into any existing UDA for semantic segmentation tasks. Please refer to the supplementary material for the details on implementation.
arxiv情報
著者 | Midhun Vayyat,Jaswin Kasi,Anuraag Bhattacharya,Shuaib Ahmed,Rahul Tallamraju |
発行日 | 2022-11-08 09:24:48+00:00 |
arxivサイト | arxiv_id(pdf) |