Relating CNN-Transformer Fusion Network for Change Detection

要約

ディープラーニング、特に畳み込みニューラルネットワーク（CNN）は、リモートセンシング（RS）の変化検出（CD）に革命をもたらしたが、既存のアプローチは、グローバルなコンテキストを無視したり、不完全な変化学習のために、しばしば重要な特徴を見逃している。さらに、トランスフォーマーネットワークは低レベルの詳細な情報を扱うのに苦労している。RCTNetは、空間的特徴と時間的特徴の両方を早期に利用するための早期融合バックボーン、時間的表現を強化するためのCSA（Cross-Stage Aggregation）モジュールを導入することで、これらの限界に対処します、\(3)}デコーダでの特徴抽出を強化するためのマルチスケール特徴フュージョン(MSF)モジュール。広範な実験により、RCTNetが従来のRS画像CD手法より明らかに優れていることが実証され、大幅な改善と精度と計算コストの最適なバランスが示された。

要約(オリジナル)

While deep learning, particularly convolutional neural networks (CNNs), has revolutionized remote sensing (RS) change detection (CD), existing approaches often miss crucial features due to neglecting global context and incomplete change learning. Additionally, transformer networks struggle with low-level details. RCTNet addresses these limitations by introducing \textbf{(1)} an early fusion backbone to exploit both spatial and temporal features early on, \textbf{(2)} a Cross-Stage Aggregation (CSA) module for enhanced temporal representation, \textbf{(3)} a Multi-Scale Feature Fusion (MSF) module for enriched feature extraction in the decoder, and \textbf{(4)} an Efficient Self-deciphering Attention (ESA) module utilizing transformers to capture global information and fine-grained details for accurate change detection. Extensive experiments demonstrate RCTNet’s clear superiority over traditional RS image CD methods, showing significant improvement and an optimal balance between accuracy and computational cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL