Deep Metric Learning for Unsupervised Remote Sensing Change Detection

要約

Remote Sensing Change Detection (RS-CD) は、Multi-Temporal Remote Sensing Images (MT-RSI) から関連する変化を検出することを目的としています。これは、土地被覆、土地利用、人間開発分析、災害対応などのさまざまな RS アプリケーションに役立ちます。
既存の RS-CD メソッドのパフォーマンスは、大規模な注釈付きデータセットでのトレーニングに起因します。
さらに、これらのモデルのほとんどは、トレーニング データセットとテスト データセットの間にドメイン ギャップがある場合、トレーニング済みモデルのパフォーマンスが非常に低下することが多いという意味で、移植性が低くなります。
この論文では、これらの問題の両方に対処できる深層計量学習に基づく教師なし CD 法を提案します。
MT-RSI が与えられると、提案された方法は、教師なし CD 損失を大規模なデータセットでトレーニングすることなく繰り返し最適化することにより、対応する変更確率マップを生成します。
私たちの教師なし CD メソッドは、2 つの相互接続されたディープ ネットワーク、つまり Deep-Change Probability Generator (D-CPG) と Deep-Feature Extractor (D-FE) で構成されます。
D-CPG は、特定の MT-RSI の変更確率マップと変更なし確率マップを予測するように設計されていますが、D-FE は、提案された教師なし CD 損失でさらに使用される MT-RSI の深い特徴を抽出するために使用されます。
転移学習機能を使用して、D-FE のパラメーターを初期化します。
提案された教師なし「類似性-非類似性損失」を最小化することにより、与えられた MT-RSI の D-CPG と D-FE のパラメータを繰り返し最適化します。
この損失は、バイテンポラル画像ドメインとその深い特徴ドメインの変化しないペアワイズ ピクセル間の距離を最小化しながら、変化するペアワイズ ピクセル間の距離を同時に最大化するメトリック学習の原理によって動機付けられます。
3 つの CD データセットで行われた実験は、教師なし CD メソッドが、最先端の教師ありおよび教師なし CD メソッドよりも大幅な改善を達成することを示しています。
コードは https://github.com/wgcban/Metric-CD で入手可能

要約(オリジナル)

Remote Sensing Change Detection (RS-CD) aims to detect relevant changes from Multi-Temporal Remote Sensing Images (MT-RSIs), which aids in various RS applications such as land cover, land use, human development analysis, and disaster response. The performance of existing RS-CD methods is attributed to training on large annotated datasets. Furthermore, most of these models are less transferable in the sense that the trained model often performs very poorly when there is a domain gap between training and test datasets. This paper proposes an unsupervised CD method based on deep metric learning that can deal with both of these issues. Given an MT-RSI, the proposed method generates corresponding change probability map by iteratively optimizing an unsupervised CD loss without training it on a large dataset. Our unsupervised CD method consists of two interconnected deep networks, namely Deep-Change Probability Generator (D-CPG) and Deep-Feature Extractor (D-FE). The D-CPG is designed to predict change and no change probability maps for a given MT-RSI, while D-FE is used to extract deep features of MT-RSI that will be further used in the proposed unsupervised CD loss. We use transfer learning capability to initialize the parameters of D-FE. We iteratively optimize the parameters of D-CPG and D-FE for a given MT-RSI by minimizing the proposed unsupervised “similarity-dissimilarity loss”. This loss is motivated by the principle of metric learning where we simultaneously maximize the distance between change pair-wise pixels while minimizing the distance between no-change pair-wise pixels in bi-temporal image domain and their deep feature domain. The experiments conducted on three CD datasets show that our unsupervised CD method achieves significant improvements over the state-of-the-art supervised and unsupervised CD methods. Code available at https://github.com/wgcban/Metric-CD

arxiv情報

提供元, 利用サービス

arxiv.jp, Google