Unsupervised Domain Adaptation for Semantic Segmentation using One-shot Image-to-Image Translation via Latent Representation Mixing

要約

ドメイン適応は、大規模な土地利用/土地被覆マップの計算で広く見られるドメイン シフトと、教師ありセマンティック セグメンテーションに不可欠なピクセル レベルのグラウンド トゥルースの不足の両方を処理するための優れた戦略の 1 つです。
ソース ドメイン サンプルの再スタイリングによる敵対的ドメイン適応に焦点を当てた研究では、通常は敵対的生成ネットワークを介して、さまざまなレベルの成功が報告されていますが、意味の不一致、視覚的な破損に悩まされ、多くの場合、多数のターゲット ドメイン サンプルが必要になります。
このレターでは、非常に高解像度の画像のセマンティック セグメンテーションのための新しい教師なしドメイン適応方法を提案します。これは、i) 意味的に一貫したノイズのない画像につながり、ii) 単一のターゲット ドメイン サンプル (つまり、ワンショット) で動作します。
iii) 最先端の方法に必要なパラメーターの数の一部で。
より具体的には、潜在的なコンテンツ表現がドメイン間で混合されるエンコーダーデコーダーの原則に基づいて、画像から画像への変換パラダイムが提案され、知覚ネットワークモジュールと損失関数がさらに導入されて意味の一貫性が強化されます。
都市間の比較実験では、提案された方法が最先端のドメイン適応方法よりも優れていることが示されています。
ソース コードは、\url{https://github.com/Sarmadfismael/LRM_I2I} で入手できます。

要約(オリジナル)

Domain adaptation is one of the prominent strategies for handling both domain shift, that is widely encountered in large-scale land use/land cover map calculation, and the scarcity of pixel-level ground truth that is crucial for supervised semantic segmentation. Studies focusing on adversarial domain adaptation via re-styling source domain samples, commonly through generative adversarial networks, have reported varying levels of success, yet they suffer from semantic inconsistencies, visual corruptions, and often require a large number of target domain samples. In this letter, we propose a new unsupervised domain adaptation method for the semantic segmentation of very high resolution images, that i) leads to semantically consistent and noise-free images, ii) operates with a single target domain sample (i.e. one-shot) and iii) at a fraction of the number of parameters required from state-of-the-art methods. More specifically an image-to-image translation paradigm is proposed, based on an encoder-decoder principle where latent content representations are mixed across domains, and a perceptual network module and loss function is further introduced to enforce semantic consistency. Cross-city comparative experiments have shown that the proposed method outperforms state-of-the-art domain adaptation methods. Our source code will be available at \url{https://github.com/Sarmadfismael/LRM_I2I}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google