Unsupervised domain adaptation semantic segmentation of high-resolution remote sensing imagery with invariant domain-level prototype memory

要約

セマンティック セグメンテーションは、高解像度リモート センシング (HRS) 画像の自動解釈に関与する重要な技術であり、リモート センシング コミュニティで多くの注目を集めています。
ディープ畳み込みニューラル ネットワーク (DCNN) は、その階層表現能力により、HRS 画像セマンティック セグメンテーション タスクにうまく適用されています。
ただし、高密度の注釈を含む多数のトレーニング データへの依存度が高く、データ分布の変動に対する感度が高いため、HRS 画像のセマンティック セグメンテーションに DCNN を適用する可能性が大幅に制限されます。
この研究では、HRS 画像のセマンティック セグメンテーションのための新しい教師なしドメイン適応セマンティック セグメンテーション ネットワーク (MemoryAdaptNet) を提案します。
MemoryAdaptNet は、出力空間の敵対的学習スキームを構築して、ソース ドメインとターゲット ドメインの間のドメイン分布の不一致を埋め、ドメイン シフトの影響を狭めます。
具体的には、不変のドメインレベルのコンテキスト情報を保存する不変の機能メモリモジュールを埋め込みます。これは、敵対的学習から得られた機能は、現在の限られた入力のバリアント機能のみを表す傾向があるためです。
このモジュールは、ピクセル表現をさらに拡張するために、カテゴリの注意駆動型の不変ドメイン レベル コンテキスト集約モジュールによって、現在の疑似不変機能に統合されます。
エントロピー ベースの疑似ラベル フィルタリング戦略を使用して、現在のターゲット イメージの信頼性の高い疑似不変機能でメモリ モジュールを更新します。
3 つのクロスドメイン タスクの下での広範な実験は、提案された MemoryAdaptNet が最先端の方法よりも著しく優れていることを示しています。

要約(オリジナル)

Semantic segmentation is a key technique involved in automatic interpretation of high-resolution remote sensing (HRS) imagery and has drawn much attention in the remote sensing community. Deep convolutional neural networks (DCNNs) have been successfully applied to the HRS imagery semantic segmentation task due to their hierarchical representation ability. However, the heavy dependency on a large number of training data with dense annotation and the sensitiveness to the variation of data distribution severely restrict the potential application of DCNNs for the semantic segmentation of HRS imagery. This study proposes a novel unsupervised domain adaptation semantic segmentation network (MemoryAdaptNet) for the semantic segmentation of HRS imagery. MemoryAdaptNet constructs an output space adversarial learning scheme to bridge the domain distribution discrepancy between source domain and target domain and to narrow the influence of domain shift. Specifically, we embed an invariant feature memory module to store invariant domain-level context information because the features obtained from adversarial learning only tend to represent the variant feature of current limited inputs. This module is integrated by a category attention-driven invariant domain-level context aggregation module to current pseudo invariant feature for further augmenting the pixel representations. An entropy-based pseudo label filtering strategy is used to update the memory module with high-confident pseudo invariant feature of current target images. Extensive experiments under three cross-domain tasks indicate that our proposed MemoryAdaptNet is remarkably superior to the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google