Source Data-Free Cross-Domain Semantic Segmentation: Align, Teach and Propagate

要約

特定の状況（ソース）から収集されたかなりのピクセルレベルの注釈の恩恵を受けて、訓練されたセマンティックセグメンテーションモデルは非常にうまく機能しますが、新しい状況（ターゲット）では失敗します。
ドメインギャップを緩和するために、以前のクロスドメインセマンティックセグメンテーション方法は、ドメインアラインメント中にソースデータとターゲットデータの共存を常に想定しています。
ただし、実際のシナリオでソースデータにアクセスすると、プライバシーの懸念が生じ、知的財産が侵害される可能性があります。
この問題に取り組むために、トレーニングされたソースモデルのみがターゲットドメインに提供される、興味深く挑戦的なクロスドメインセマンティックセグメンテーションタスクに焦点を当てます。
具体的には、\ textbf {ATP}と呼ばれる統合フレームワークを提案します。これは、機能\ textbf {A} lignment、双方向\ textbf {T}eaching、および情報\ textbf{P}ropagationの3つのスキームで構成されます。
まず、ソースデータがないために明示的な位置合わせが実行不可能であることを考慮して、提供されたソースモデルを介してターゲット機能を見えないソース機能と暗黙的に位置合わせするカリキュラムスタイルのエントロピー最小化目標を考案します。
次に、バニラセルフトレーニングのポジティブ疑似ラベルに加えて、このフィールドにネガティブ疑似ラベルを導入し、ターゲットドメインでの表現学習を強化するための双方向セルフトレーニング戦略を開発します。
これは、ドメイン適応のためのセルフトレーニング中にネガティブ疑似ラベルを使用する最初の作業です。
最後に、情報伝播スキームを使用して、疑似半教師あり学習を介してターゲットドメイン内のドメイン内の不一致をさらに減らします。これは、ドメイン適応フィールドにシンプルで効果的な後処理を提供することによる最初のステップです。
さらに、提案されたものを、ソースモデルの予測のみが利用可能なより困難なブラックボックスソースモデルシナリオに拡張します。

要約(オリジナル)

Benefiting from considerable pixel-level annotations collected from a specific situation (source), the trained semantic segmentation model performs quite well but fails in a new situation (target). To mitigate the domain gap, previous cross-domain semantic segmentation methods always assume the co-existence of source data and target data during domain alignment. However, accessing source data in the real scenario may raise privacy concerns and violate intellectual property. To tackle this problem, we focus on an interesting and challenging cross-domain semantic segmentation task where only the trained source model is provided to the target domain. Specifically, we propose a unified framework called \textbf{ATP}, which consists of three schemes, i.e., feature \textbf{A}lignment, bidirectional \textbf{T}eaching, and information \textbf{P}ropagation. First, considering explicit alignment is infeasible due to no source data, we devise a curriculum-style entropy minimization objective to implicitly align the target features with unseen source features via the provided source model. Second, besides positive pseudo labels in vanilla self-training, we introduce negative pseudo labels to this field and develop a bidirectional self-training strategy to enhance the representation learning in the target domain. It is the first work to use negative pseudo labels during self-training for domain adaptation. Finally, the information propagation scheme is employed to further reduce the intra-domain discrepancy within the target domain via pseudo-semi-supervised learning, which is the first step by providing a simple and effective post-process for the domain adaptation field. Furthermore, we also extend the proposed to the more challenging black-box source-model scenario where only the source model’s prediction is available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google