Universal Domain Adaptation for Semantic Segmentation

要約

セマンティックセグメンテーション（UDA-SS）の監視されていないドメイン適応は、ラベル付きのソースデータから非標識ターゲットデータに知識を転送することを目的としています。
ただし、従来のUDA-SSメソッドは、ソースドメインとターゲットドメイン間のカテゴリ設定が既知であると想定しています。これは、実際のシナリオでは非現実的です。
これは、プライベートクラスが存在する場合、パフォーマンスの劣化につながります。
この制限に対処するために、セマンティックセグメンテーションのためのユニバーサルドメイン適応（UNIDA-SS）を提案し、カテゴリ設定の事前知識がなくても堅牢な適応を達成します。
Unida-SSシナリオの問題を、ターゲットドメインの共通クラスの低い信頼スコアとして定義し、プライベートクラスとの混乱につながります。
この問題を解決するために、2つの重要なコンポーネントで構成される新しいフレームワークである画像マッチングとプロトタイプベースの区別を備えたUnimap：Unida-SSを提案します。
まず、ドメイン固有のプロトタイプベースの区別（DSPD）を2つのドメイン固有のプロトタイプに分割し、ドメイン固有の特徴をより細かく分離し、ドメイン全体の共通クラスの識別を強化します。
第二に、ターゲットベースの画像マッチング（TIM）は、ターゲットの擬似ラベルに基づいて最も一般的なクラスのピクセルを含むソース画像を選択し、共通クラスの効果的な学習を促進するためにバッチでペアになります。
また、新しいUNIDA-SSベンチマークを導入し、ベースラインを大幅に上回る想像を妨げるさまざまな実験を実証します。
このコードは、\ href {https://github.com/ku-vgi/unimap} {このhttps url}で利用できます。

要約(オリジナル)

Unsupervised domain adaptation for semantic segmentation (UDA-SS) aims to transfer knowledge from labeled source data to unlabeled target data. However, traditional UDA-SS methods assume that category settings between source and target domains are known, which is unrealistic in real-world scenarios. This leads to performance degradation if private classes exist. To address this limitation, we propose Universal Domain Adaptation for Semantic Segmentation (UniDA-SS), achieving robust adaptation even without prior knowledge of category settings. We define the problem in the UniDA-SS scenario as low confidence scores of common classes in the target domain, which leads to confusion with private classes. To solve this problem, we propose UniMAP: UniDA-SS with Image Matching and Prototype-based Distinction, a novel framework composed of two key components. First, Domain-Specific Prototype-based Distinction (DSPD) divides each class into two domain-specific prototypes, enabling finer separation of domain-specific features and enhancing the identification of common classes across domains. Second, Target-based Image Matching (TIM) selects a source image containing the most common-class pixels based on the target pseudo-label and pairs it in a batch to promote effective learning of common classes. We also introduce a new UniDA-SS benchmark and demonstrate through various experiments that UniMAP significantly outperforms baselines. The code is available at \href{https://github.com/KU-VGI/UniMAP}{this https URL}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google