Causal Prototype-inspired Contrast Adaptation for Unsupervised Domain Adaptive Semantic Segmentation of High-resolution Remote Sensing Imagery

要約

高解像度リモート センシング画像 (HRSI) のセマンティック セグメンテーションはドメイン シフトの影響を受け、その結果、別の目に見えないドメインでのモデルのパフォーマンスが低下します。
教師なしドメイン適応 (UDA) セマンティック セグメンテーションは、ラベル付きソース ドメインでトレーニングされたセマンティック セグメンテーション モデルをラベルなしターゲット ドメインに適応させることを目的としています。
ただし、既存の UDA セマンティック セグメンテーション モデルは、ソースおよびターゲット ドメイン データのラベルに関連する統計情報に基づいてピクセルまたは特徴を調整し、それに応じて予測を行う傾向があるため、予測結果の不確実性と脆弱性につながります。
この論文では、異なる HRSI ドメインとその意味ラベルの間の不変因果メカニズムを調査するために、因果プロトタイプにインスピレーションを得たコントラスト適応 (CPCA) 方法を提案します。
まず、因果的特徴解きほぐしモジュールを通じて、ソースおよびターゲット ドメインの画像から因果的特徴とバイアス特徴を解きほぐします。
次に、因果プロトタイプ コントラスト モジュールを使用して、ドメイン不変の因果特徴を学習します。
因果的特徴とバイアス特徴の相関をさらに下げるために、バイアス特徴に介入して反事実的でバイアスのないサンプルを生成する因果介入モジュールが導入されます。
因果的特徴が分離可能性、不変性、介入の原則を満たすように強制することにより、CPCA はソースドメインとターゲットドメインの因果要因をシミュレートし、因果的特徴に基づいてターゲットドメインに関する決定を下すことができ、汎化能力の向上を観察できます。
3 つのクロスドメイン タスクにおける広範な実験により、CPCA が最先端の方法よりも著しく優れていることが示されました。

要約(オリジナル)

Semantic segmentation of high-resolution remote sensing imagery (HRSI) suffers from the domain shift, resulting in poor performance of the model in another unseen domain. Unsupervised domain adaptive (UDA) semantic segmentation aims to adapt the semantic segmentation model trained on the labeled source domain to an unlabeled target domain. However, the existing UDA semantic segmentation models tend to align pixels or features based on statistical information related to labels in source and target domain data, and make predictions accordingly, which leads to uncertainty and fragility of prediction results. In this paper, we propose a causal prototype-inspired contrast adaptation (CPCA) method to explore the invariant causal mechanisms between different HRSIs domains and their semantic labels. It firstly disentangles causal features and bias features from the source and target domain images through a causal feature disentanglement module. Then, a causal prototypical contrast module is used to learn domain invariant causal features. To further de-correlate causal and bias features, a causal intervention module is introduced to intervene on the bias features to generate counterfactual unbiased samples. By forcing the causal features to meet the principles of separability, invariance and intervention, CPCA can simulate the causal factors of source and target domains, and make decisions on the target domain based on the causal features, which can observe improved generalization ability. Extensive experiments under three cross-domain tasks indicate that CPCA is remarkably superior to the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google