Siamese Meets Diffusion Network: SMDNet for Enhanced Change Detection in High-Resolution RS Imagery

要約

近年、リモートセンシング画像における変化検出（CD）へのディープラーニングの応用が大きく進んでいます。
近年、CD タスクでは主に CNN や Transformer などのアーキテクチャを使用してこれらの変更を特定しています。
ただし、これらのアーキテクチャには境界の詳細を表現するという点で欠点があり、複雑な照明や気象条件下では誤警報や検出ミスが発生する傾向があります。
そのために、私たちは新しいネットワーク、Siamese Meets Diffusion Network (SMDNet) を提案します。
このネットワークは、Siam-U2Net 特徴差分エンコーダー (SU-FDE) とノイズ除去拡散陰的モデルを組み合わせて、画像エッジ変化検出の精度を向上させ、環境変化に対するモデルの堅牢性を強化します。
まず、共有重み特徴を利用して時系列画像間の差異を捕捉し、特徴間の類似性を識別してエッジ詳細検出を強化する革新的な SU-FDE モジュールを提案します。
さらに、重要な粗い特徴を識別するためのアテンション メカニズムを追加して、モデルの感度と精度を向上させます。
最後に、プログレッシブ サンプリングの拡散モデルを使用して主要な粗い特徴を融合し、拡散モデルのノイズ低減能力と画像データの確率分布をキャプチャする利点を使用して、さまざまな環境におけるモデルの適応性を強化します。
私たちの手法による特徴抽出モデルと拡散モデルの組み合わせは、リモートセンシング画像の変化検出における有効性を実証しています。
LEVIR-CD、DSIFN-CD、CDD データセットでの SMDNet のパフォーマンス評価では、それぞれ 90.99%、88.40%、88.47% という検証済みの F1 スコアが得られました。
これは、バリエーションや複雑な詳細を正確に識別する際のモデルの高度な機能を実証しています。

要約(オリジナル)

Recently, the application of deep learning to change detection (CD) has significantly progressed in remote sensing images. In recent years, CD tasks have mostly used architectures such as CNN and Transformer to identify these changes. However, these architectures have shortcomings in representing boundary details and are prone to false alarms and missed detections under complex lighting and weather conditions. For that, we propose a new network, Siamese Meets Diffusion Network (SMDNet). This network combines the Siam-U2Net Feature Differential Encoder (SU-FDE) and the denoising diffusion implicit model to improve the accuracy of image edge change detection and enhance the model’s robustness under environmental changes. First, we propose an innovative SU-FDE module that utilizes shared weight features to capture differences between time series images and identify similarities between features to enhance edge detail detection. Furthermore, we add an attention mechanism to identify key coarse features to improve the model’s sensitivity and accuracy. Finally, the diffusion model of progressive sampling is used to fuse key coarse features, and the noise reduction ability of the diffusion model and the advantages of capturing the probability distribution of image data are used to enhance the adaptability of the model in different environments. Our method’s combination of feature extraction and diffusion models demonstrates effectiveness in change detection in remote sensing images. The performance evaluation of SMDNet on LEVIR-CD, DSIFN-CD, and CDD datasets yields validated F1 scores of 90.99%, 88.40%, and 88.47%, respectively. This substantiates the advanced capabilities of our model in accurately identifying variations and intricate details.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google