CDMamba: Remote Sensing Image Change Detection with Mamba

要約

最近、状態空間モデルに基づく Mamba アーキテクチャは、一連の自然言語処理タスクで顕著なパフォーマンスを実証し、リモート センシング変更検出 (CD) タスクに急速に適用されています。
しかし、ほとんどの方法は、Mamba のスキャン モードを直接変更することで全体的な受容野を強化し、密な予測タスク (CD など) でローカル情報が果たす重要な役割を無視しています。
この記事では、CD タスクを処理するためにグローバル機能とローカル機能を効果的に組み合わせる CDMamba と呼ばれるモデルを提案します。
具体的には、Scaled Residual ConvMamba (SRCM) ブロックは、Mamba のグローバルな特徴と畳み込みを抽出して局所的な詳細を強化する機能を利用し、現在の Mamba ベースの手法には詳細な手がかりが不足し、精密な検出を達成することが難しいという問題を軽減するために提案されています。
高密度の予測タスクで。
さらに、CD に必要なバイタイム特徴インタラクションの特性を考慮して、他の時間グローバル/ローカルフィーチャによってガイドされるバイタイム インタラクションを動的に促進するために、適応グローバル ローカル ガイド フュージョン (AGLGF) ブロックが提案されます。
私たちの直観では、他の時間的特徴の導きにより、より識別可能な変化特徴を取得できると考えられます。
3 つのデータセットに対する広範な実験により、私たちが提案した CDMamba が現在の最先端の方法よりも優れていることが実証されました。
私たちのコードは https://github.com/zmoka-zht/CDMamba でオープンソース化されます。

要約(オリジナル)

Recently, the Mamba architecture based on state space models has demonstrated remarkable performance in a series of natural language processing tasks and has been rapidly applied to remote sensing change detection (CD) tasks. However, most methods enhance the global receptive field by directly modifying the scanning mode of Mamba, neglecting the crucial role that local information plays in dense prediction tasks (e.g., CD). In this article, we propose a model called CDMamba, which effectively combines global and local features for handling CD tasks. Specifically, the Scaled Residual ConvMamba (SRCM) block is proposed to utilize the ability of Mamba to extract global features and convolution to enhance the local details, to alleviate the issue that current Mamba-based methods lack detailed clues and are difficult to achieve fine detection in dense prediction tasks. Furthermore, considering the characteristics of bi-temporal feature interaction required for CD, the Adaptive Global Local Guided Fusion (AGLGF) block is proposed to dynamically facilitate the bi-temporal interaction guided by other temporal global/local features. Our intuition is that more discriminative change features can be acquired with the guidance of other temporal features. Extensive experiments on three datasets demonstrate that our proposed CDMamba outperforms the current state-of-the-art methods. Our code will be open-sourced at https://github.com/zmoka-zht/CDMamba.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google