Towards Source-free Domain Adaptive Semantic Segmentation via Importance-aware and Prototype-contrast Learning

要約

ドメイン適応型セマンティック セグメンテーションにより、現実世界の運転シーンにおける堅牢なピクセル単位の理解が可能になります。
ソースフリー ドメイン アダプテーションは、より実用的な手法として、一般的な教師なしドメイン アダプテーション方法におけるデータ プライバシーとストレージ制限の問題に対処し、インテリジェント車両のコンテキストにおいて特に関連性の高いものとなります。
十分にトレーニングされたソース モデルとラベルのないターゲット データを利用して、ターゲット ドメインでの適応を実現します。
ただし、ソース データとターゲット ラベルが存在しない場合、現在のソリューションではドメイン シフトの影響を十分に軽減し、ターゲット データからの情報を十分に活用することができません。
この論文では、重要性認識およびプロトタイプコントラスト (IAPC) 学習によるエンドツーエンドのソースフリーのドメイン適応セマンティック セグメンテーション手法を提案します。
提案された IAPC フレームワークは、十分にトレーニングされたソース モデルからドメイン不変の知識を効果的に抽出し、ラベルのないターゲット ドメインからドメイン固有の知識を学習します。
具体的には、ソースモデルによるターゲットドメインの予測におけるドメインシフトの問題を考慮して、ソースモデルからドメイン不変の知識を抽出するための、偏ったターゲット予測確率分布のための重要性を意識したメカニズムを提案しました。
さらに、ラベルに依存せずにターゲットのドメイン内知識を学習するために、プロトタイプ対称クロスエントロピー損失とプロトタイプ強化クロスエントロピー損失を含むプロトタイプコントラスト戦略を導入します。
2 つのドメイン適応型セマンティック セグメンテーション ベンチマークに関する包括的なさまざまな実験により、提案されたエンドツーエンド IAPC ソリューションが既存の最先端の方法よりも優れていることが実証されました。
ソース コードは https://github.com/yihong-97/Source-free-IAPC で公開されています。

要約(オリジナル)

Domain adaptive semantic segmentation enables robust pixel-wise understanding in real-world driving scenes. Source-free domain adaptation, as a more practical technique, addresses the concerns of data privacy and storage limitations in typical unsupervised domain adaptation methods, making it especially relevant in the context of intelligent vehicles. It utilizes a well-trained source model and unlabeled target data to achieve adaptation in the target domain. However, in the absence of source data and target labels, current solutions cannot sufficiently reduce the impact of domain shift and fully leverage the information from the target data. In this paper, we propose an end-to-end source-free domain adaptation semantic segmentation method via Importance-Aware and Prototype-Contrast (IAPC) learning. The proposed IAPC framework effectively extracts domain-invariant knowledge from the well-trained source model and learns domain-specific knowledge from the unlabeled target domain. Specifically, considering the problem of domain shift in the prediction of the target domain by the source model, we put forward an importance-aware mechanism for the biased target prediction probability distribution to extract domain-invariant knowledge from the source model. We further introduce a prototype-contrast strategy, which includes a prototype-symmetric cross-entropy loss and a prototype-enhanced cross-entropy loss, to learn target intra-domain knowledge without relying on labels. A comprehensive variety of experiments on two domain adaptive semantic segmentation benchmarks demonstrates that the proposed end-to-end IAPC solution outperforms existing state-of-the-art methods. The source code is publicly available at https://github.com/yihong-97/Source-free-IAPC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google