Dsfer-Net: A Deep Supervision and Feature Retrieval Network for Bitemporal Change Detection Using Modern Hopfield Networks

要約

高解像度のリモート センシング画像に不可欠なアプリケーションである変化検出は、時間の経過に伴う地表の変化を監視および分析することを目的としています。
高解像度リモートセンシングデータの量の急速な増加とテクスチャ特徴の複雑さのため、いくつかの定量的な深層学習ベースの方法が提案されています。
これらの方法は、深い特徴を抽出し、時空間情報を組み合わせることで、従来の変化検出方法よりも優れた性能を発揮します。
ただし、深い機能によって検出パフォーマンスがどのように向上するかについての合理的な説明はまだ不足しています。
私たちの調査では、最新のホップフィールド ネットワーク層が意味論的な理解を大幅に強化していることがわかりました。
この論文では、二時間的変化検出のための深層監視および特徴検索ネットワーク (Dsfer-Net) を提案します。
具体的には、バイテンポラル画像の非常に代表的な深い特徴が、完全な畳み込みシャム ネットワークを通じて共同抽出されます。
バイテンポラル画像の連続した地理情報に基づいて、詳細に監視された方法で異なる特徴を抽出し、識別情報を活用するための特徴検索モジュールを設計しました。
さらに、深く監視された特徴検索モジュールが、提案されたネットワークの深い層での意味論的理解を示す説明可能な証拠を提供することを観察しました。
最後に、エンドツーエンドのネットワークは、さまざまなレイヤーから取得した特徴と特徴ペアを集約することで、新しいフレームワークを確立します。
3 つの公開データセット (LEVIR-CD、WHU-CD、CDD) で行われた実験により、提案された Dsfer-Net が他の最先端の方法よりも優れていることが確認されました。

要約(オリジナル)

Change detection, an essential application for high-resolution remote sensing images, aims to monitor and analyze changes in the land surface over time. Due to the rapid increase in the quantity of high-resolution remote sensing data and the complexity of texture features, several quantitative deep learning-based methods have been proposed. These methods outperform traditional change detection methods by extracting deep features and combining spatial-temporal information. However, reasonable explanations for how deep features improve detection performance are still lacking. In our investigations, we found that modern Hopfield network layers significantly enhance semantic understanding. In this paper, we propose a Deep Supervision and FEature Retrieval network (Dsfer-Net) for bitemporal change detection. Specifically, the highly representative deep features of bitemporal images are jointly extracted through a fully convolutional Siamese network. Based on the sequential geographical information of the bitemporal images, we designed a feature retrieval module to extract difference features and leverage discriminative information in a deeply supervised manner. Additionally, we observed that the deeply supervised feature retrieval module provides explainable evidence of the semantic understanding of the proposed network in its deep layers. Finally, our end-to-end network establishes a novel framework by aggregating retrieved features and feature pairs from different layers. Experiments conducted on three public datasets (LEVIR-CD, WHU-CD, and CDD) confirm the superiority of the proposed Dsfer-Net over other state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google