Towards Source-free Domain Adaptive Semantic Segmentation via Importance-aware and Prototype-contrast Learning

要約

ドメイン適応型セマンティックセグメンテーションは、実世界の運転シーンにおいて、ピクセル単位でのロバストな理解を可能にする。ソースフリー領域適応は、より実用的な手法として、典型的な教師なし領域適応手法におけるデータプライバシーとストレージの制限という懸念に対処する。この手法では、十分に訓練されたソースモデルとラベルのないターゲットデータを利用して、ターゲットドメインでの適応を実現する。しかし、ソースデータとターゲットラベルがない場合、現在のソリューションでは、ドメインシフトの影響を十分に軽減できず、ターゲットデータからの情報を十分に活用することができません。本論文では、IAPC（Importance-Aware and Prototype-Contrast）学習を介したエンドツーエンドのソースフリー領域適応セマンティックセグメンテーション法を提案する。提案するIAPCフレームワークは、よく訓練されたソースモデルからドメイン不変の知識を効果的に抽出し、ラベルのないターゲットドメインからドメイン固有の知識を学習する。具体的には、ソースモデルによるターゲットドメインの予測におけるドメインシフトの問題を考慮し、ソースモデルからドメイン不変の知識を抽出するために、偏ったターゲット予測確率分布に対して重要度を考慮したメカニズムを提唱する。さらに、ラベルに依存せずにターゲットドメイン内知識を学習するために、プロトタイプ対称クロスエントロピー損失とプロトタイプ強化クロスエントロピー損失を含む、プロトタイプコントラスト戦略を導入する。2つのドメイン適応型セマンティックセグメンテーションのベンチマークを用いた包括的な様々な実験により、提案するエンドツーエンドIAPCソリューションが既存の最先端手法を凌駕することが実証される。コードは、https://github.com/yihong-97/Source-free_IAPC で公開される予定である。

要約(オリジナル)

Domain adaptive semantic segmentation enables robust pixel-wise understanding in real-world driving scenes. Source-free domain adaptation, as a more practical technique, addresses the concerns of data privacy and storage limitations in typical unsupervised domain adaptation methods. It utilizes a well-trained source model and unlabeled target data to achieve adaptation in the target domain. However, in the absence of source data and target labels, current solutions cannot sufficiently reduce the impact of domain shift and fully leverage the information from the target data. In this paper, we propose an end-to-end source-free domain adaptation semantic segmentation method via Importance-Aware and Prototype-Contrast (IAPC) learning. The proposed IAPC framework effectively extracts domain-invariant knowledge from the well-trained source model and learns domain-specific knowledge from the unlabeled target domain. Specifically, considering the problem of domain shift in the prediction of the target domain by the source model, we put forward an importance-aware mechanism for the biased target prediction probability distribution to extract domain-invariant knowledge from the source model. We further introduce a prototype-contrast strategy, which includes a prototype-symmetric cross-entropy loss and a prototype-enhanced cross-entropy loss, to learn target intra-domain knowledge without relying on labels. A comprehensive variety of experiments on two domain adaptive semantic segmentation benchmarks demonstrates that the proposed end-to-end IAPC solution outperforms existing state-of-the-art methods. Code will be made publicly available at https://github.com/yihong-97/Source-free_IAPC.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL