MLAN: Multi-Level Adversarial Network for Domain Adaptive Semantic Segmentation

要約

ドメイン適応セマンティックセグメンテーションの最近の進歩は、教師なしドメイン適応における敵対学習（AL）の有効性を示しています。
ただし、ほとんどの敵対的な学習ベースの方法は、グローバル画像レベルでソースとターゲットの分布を調整しますが、ローカル画像領域の周りの不整合を無視します。
このホワイトペーパーでは、グローバルイメージレベルとローカルリージョンレベルの両方でドメイン間の不整合に最適に対処することを目的とした、新しいマルチレベルの敵対的ネットワーク（MLAN）を紹介します。
MLANには、地域レベルの敵対的学習（RL-AL）と共正則化された敵対的学習（CR-AL）という2つの斬新な設計があります。
具体的には、RL-ALは、ラベル付けされたソースドメインの機能空間で明示的にプロトタイプの地域コンテキスト関係をモデル化し、敵対的学習を介してそれらをラベル付けされていないターゲットドメインに転送します。
CR-ALは、相互正則化を介して領域レベルのALと画像レベルのALを最適に融合します。
さらに、入力空間（$ i.e。$、画像から画像への変換）と出力空間（$ i.e。$、セルフトレーニング）の両方でドメインの適応を効果的にガイドできるマルチレベルの整合性マップを設計します。
広範な実験により、MLANは、複数のデータセットにわたって一貫して大きなマージンで最先端を上回っていることを示しています。

要約(オリジナル)

Recent progresses in domain adaptive semantic segmentation demonstrate the effectiveness of adversarial learning (AL) in unsupervised domain adaptation. However, most adversarial learning based methods align source and target distributions at a global image level but neglect the inconsistency around local image regions. This paper presents a novel multi-level adversarial network (MLAN) that aims to address inter-domain inconsistency at both global image level and local region level optimally. MLAN has two novel designs, namely, region-level adversarial learning (RL-AL) and co-regularized adversarial learning (CR-AL). Specifically, RL-AL models prototypical regional context-relations explicitly in the feature space of a labelled source domain and transfers them to an unlabelled target domain via adversarial learning. CR-AL fuses region-level AL and image-level AL optimally via mutual regularization. In addition, we design a multi-level consistency map that can guide domain adaptation in both input space ($i.e.$, image-to-image translation) and output space ($i.e.$, self-training) effectively. Extensive experiments show that MLAN outperforms the state-of-the-art with a large margin consistently across multiple datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google