ResiDualGAN: Resize-Residual DualGAN for Cross-Domain Remote Sensing Images Semantic Segmentation

要約

注釈付きデータセットで事前トレーニングされたリモート センシング (RS) 画像のセマンティック セグメンテーション モデルのパフォーマンスは、ドメイン ギャップが原因で、別の注釈なしデータセットでテストすると大幅に低下します。
DualGAN などの敵対的生成手法は、教師なしドメイン適応 (UDA) の一般的なアプローチの 1 つである、ピクセルレベルのドメインギャップを最小限に抑えるために、対になっていない画像から画像への変換に利用されます。
ただし、既存の画像変換方法は、RS 画像変換を実行する際に 2 つの問題に直面しています。1) スケール不変オブジェクトの精度パフォーマンスに大きく影響する 2 つの RS データセット間のスケールの不一致を無視する、2) 実数対実数の特性を無視する。
モデルのトレーニングに不安定な要因をもたらす RS 画像の翻訳。
このホワイト ペーパーでは、ResiDualGAN が RS 画像変換用に提案されています。ここでは、RS データセットのスケールの不一致に対処するためにネットワーク内リサイザー モジュールが使用され、実画像から実画像への変換の安定性を強化し、改善するために残留接続が使用されます。
クロスドメイン セマンティック セグメンテーション タスクのパフォーマンス。
出力空間適応法と組み合わせることで、提案された方法は、一般的なベンチマークでの精度性能を大幅に改善し、ResiDuanGAN の優位性と信頼性を実証します。
論文の最後には、ResiDualGANの改善について合理的な説明をするための徹底的な議論も行われています。
ソース コードは https://github.com/miemieyanga/ResiDualGAN-DRDG で入手できます。

要約(オリジナル)

The performance of a semantic segmentation model for remote sensing (RS) images pretrained on an annotated dataset would greatly decrease when testing on another unannotated dataset because of the domain gap. Adversarial generative methods, e.g., DualGAN, are utilized for unpaired image-to-image translation to minimize the pixel-level domain gap, which is one of the common approaches for unsupervised domain adaptation (UDA). However, the existing image translation methods are facing two problems when performing RS images translation: 1) ignoring the scale discrepancy between two RS datasets which greatly affects the accuracy performance of scale-invariant objects, 2) ignoring the characteristic of real-to-real translation of RS images which brings an unstable factor for the training of the models. In this paper, ResiDualGAN is proposed for RS images translation, where an in-network resizer module is used for addressing the scale discrepancy of RS datasets, and a residual connection is used for strengthening the stability of real-to-real images translation and improving the performance in cross-domain semantic segmentation tasks. Combined with an output space adaptation method, the proposed method greatly improves the accuracy performance on common benchmarks, which demonstrates the superiority and reliability of ResiDuanGAN. At the end of the paper, a thorough discussion is also conducted to give a reasonable explanation for the improvement of ResiDualGAN. Our source code is available at https://github.com/miemieyanga/ResiDualGAN-DRDG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google