Adjacent-level Feature Cross-Fusion with 3D CNN for Remote Sensing Image Change Detection

要約

近年、リモートセンシング画像を用いた深層学習による変化検出が注目されています。
ただし、バイテンポラル画像の深い特徴を効果的に抽出して融合し、変化検出の精度を向上させる方法は依然として課題です。
これに対処するために、この記事では、3D 畳み込みを使用した新しい隣接レベルの機能融合ネットワーク (AFCF3D-Net という名前) を提案します。
まず、3D畳み込みの内部融合特性を通じて、バイテンポラル画像から特徴情報を同時に抽出および融合できる新しい特徴融合方法を設計します。
次に、低レベルの機能と高レベルの機能の間のセマンティック ギャップを埋めるために、隣接レベル間の補完的な機能情報を集約する隣接レベル機能クロスフュージョン (AFCF) モジュールを提案します。
さらに、密にスキップする接続戦略を導入して、ピクセル単位の予測の能力と、結果の変更されたオブジェクトのコンパクトさを改善します。
最後に、提案された AFCF3D-Net は、武漢建物データセット (WHU-CD)、LEVIR 建物データセット (LEVIR-CD)、中山大学 (SYSU-CD) の 3 つの困難なリモート センシング変化検出データセットで検証されました。
定量分析と定性比較の結果は、提案された AFCF3D-Net が他の最先端の変化検出方法と比較して優れたパフォーマンスを達成することを示しています。

要約(オリジナル)

Deep learning-based change detection using remote sensing images has received increasing attention in recent years. However, how to effectively extract and fuse the deep features of bi-temporal images to improve the accuracy of change detection is still a challenge. To address that, a novel adjacent-level feature fusion network with 3D convolution (named AFCF3D-Net) is proposed in this article. First, through the inner fusion property of 3D convolution, we design a new feature fusion way that can simultaneously extract and fuse the feature information from bi-temporal images. Then, in order to bridge the semantic gap between low-level features and high-level features, we propose an adjacent-level feature cross-fusion (AFCF) module to aggregate complementary feature information between the adjacent-levels. Furthermore, the densely skip connection strategy is introduced to improve the capability of pixel-wise prediction and compactness of changed objects in the results. Finally, the proposed AFCF3D-Net has been validated on the three challenging remote sensing change detection datasets: Wuhan building dataset (WHU-CD), LEVIR building dataset (LEVIR-CD), and Sun Yat-Sen University (SYSU-CD). The results of quantitative analysis and qualitative comparison demonstrate that the proposed AFCF3D-Net achieves better performance compared to the other state-of-the-art change detection methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google