要約
複雑なシーンやさまざまな状況において、変化を正確に識別するには、時空間コンテキストを効果的に統合することが重要です。
しかし、現在の RS-CD 方式には、パフォーマンスと効率のバランスのとれた考慮が欠けています。
CNN にはグローバル コンテキストが欠如し、Transformer には二次計算の複雑さがあり、Mamba には CUDA アクセラレーションによる制限があります。
このペーパーでは、線形計算の複雑さ、グローバルなコンテキスト認識、および強力な解釈能力の利点を統合する、強力な XLSTM ベースの機能拡張レイヤーをコア コンポーネントとする CDXFormer を提案します。
具体的には、意味的に正確な深い特徴向けにカスタマイズされた Cross-Temporal Global Perceptron と、詳細が豊富な浅い特徴向けにカスタマイズされた Cross-Temporal Spatial Refiner を組み込んだ、スケール固有の Feature Enhancer レイヤーを導入します。
さらに、グローバルな変化表現と空間応答を段階的に相互作用させるクロススケール インタラクティブ フュージョン モジュールを提案します。
広範な実験結果は、CDXFormer が 3 つのベンチマーク データセットにわたって最先端のパフォーマンスを達成し、効率と精度の間の魅力的なバランスを提供することを示しています。
コードは https://github.com/xwmaxwma/rschange で入手できます。
要約(オリジナル)
In complex scenes and varied conditions, effectively integrating spatial-temporal context is crucial for accurately identifying changes. However, current RS-CD methods lack a balanced consideration of performance and efficiency. CNNs lack global context, Transformers have quadratic computational complexity, and Mambas are restricted by CUDA acceleration. In this paper, we propose CDXFormer, with a core component that is a powerful XLSTM-based feature enhancement layer, integrating the advantages of linear computational complexity, global context perception, and strong interpret-ability. Specifically, we introduce a scale-specific Feature Enhancer layer, incorporating a Cross-Temporal Global Perceptron customized for semantic-accurate deep features, and a Cross-Temporal Spatial Refiner customized for detail-rich shallow features. Additionally, we propose a Cross-Scale Interactive Fusion module to progressively interact global change representations with spatial responses. Extensive experimental results demonstrate that CDXFormer achieves state-of-the-art performance across three benchmark datasets, offering a compelling balance between efficiency and accuracy. Code is available at https://github.com/xwmaxwma/rschange.
arxiv情報
著者 | Zhenkai Wu,Xiaowen Ma,Rongrong Lian,Zhentao Lin,Wei Zhang |
発行日 | 2024-11-12 15:22:14+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google