Towards Source-free Domain Adaptive Semantic Segmentation via Importance-aware and Prototype-contrast Learning

要約

領域適応的セマンティックセグメンテーションは、実世界の運転シーンにおいて、ロバストなピクセル単位の理解を可能にする。ソースフリー領域適応は、より実用的な手法として、典型的な教師なし領域適応手法におけるデータプライバシーとストレージの制限の懸念に対処する。これは、十分に訓練されたソースモデルとラベル付けされていないターゲットデータを利用して、ターゲットドメインでの適応を実現する。しかし、ソースデータとターゲットラベルがない場合、現在のソリューションでは、ドメインシフトの影響を十分に低減することができず、ターゲットデータからの情報を十分に活用することができない。本論文では、IAPC(Importance-Aware and Prototype-Contrast)学習による、エンドツーエンドのソースフリーのドメイン適応セマンティックセグメンテーション手法を提案する。提案するIAPCフレームワークは、よく訓練されたソースモデルからドメイン不変の知識を効果的に抽出し、ラベル付けされていないターゲットドメインからドメイン固有の知識を学習する。具体的には、ソースモデルによるターゲットドメインの予測におけるドメインシフトの問題を考慮し、ソースモデルからドメイン不変の知識を抽出するために、偏ったターゲット予測確率分布に対する重要度を考慮したメカニズムを提案する。さらに、ラベルに依存せずにターゲットドメイン内の知識を学習するために、プロトタイプ対称クロスエントロピー損失とプロトタイプ強調クロスエントロピー損失を含むプロトタイプコントラスト戦略を導入する。2つのドメイン適応的セマンティックセグメンテーションのベンチマークを用いた包括的な様々な実験により、提案するエンドツーエンドのIAPCソリューションが既存の最先端手法を凌駕することを実証する。コードはhttps://github.com/yihong-97/Source-free_IAPC。

要約(オリジナル)

Domain adaptive semantic segmentation enables robust pixel-wise understanding in real-world driving scenes. Source-free domain adaptation, as a more practical technique, addresses the concerns of data privacy and storage limitations in typical unsupervised domain adaptation methods. It utilizes a well-trained source model and unlabeled target data to achieve adaptation in the target domain. However, in the absence of source data and target labels, current solutions cannot sufficiently reduce the impact of domain shift and fully leverage the information from the target data. In this paper, we propose an end-to-end source-free domain adaptation semantic segmentation method via Importance-Aware and Prototype-Contrast (IAPC) learning. The proposed IAPC framework effectively extracts domain-invariant knowledge from the well-trained source model and learns domain-specific knowledge from the unlabeled target domain. Specifically, considering the problem of domain shift in the prediction of the target domain by the source model, we put forward an importance-aware mechanism for the biased target prediction probability distribution to extract domain-invariant knowledge from the source model. We further introduce a prototype-contrast strategy, which includes a prototype-symmetric cross-entropy loss and a prototype-enhanced cross-entropy loss, to learn target intra-domain knowledge without relying on labels. A comprehensive variety of experiments on two domain adaptive semantic segmentation benchmarks demonstrates that the proposed end-to-end IAPC solution outperforms existing state-of-the-art methods. Code will be made publicly available at https://github.com/yihong-97/Source-free_IAPC.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL