3DSS-Mamba: 3D-Spectral-Spatial Mamba for Hyperspectral Image Classification

要約

ハイパースペクトル画像 (HSI) 分類は、リモート センシング分野の基礎研究を構成します。
畳み込みニューラル ネットワーク (CNN) とトランスフォーマーは、スペクトルと空間の文脈依存関係を捕捉する優れた機能を実証しています。
ただし、これらのアーキテクチャには、それぞれ、限られた受容野と二次計算の複雑さという問題があります。
幸いなことに、状態空間モデルに基づいて構築された最近の Mamba アーキテクチャは、長距離シーケンス モデリングと線形計算効率の利点を統合しており、低次元のシナリオで大きな可能性を示しています。
これを動機として、我々は HSI 分類用の新しい 3D-Spectral-Spatial Mamba (3DSS-Mamba) フレームワークを提案し、より高い計算効率でグローバルなスペクトル-空間関係モデリングを可能にします。
技術的には、スペクトル空間トークン生成 (SSTG) モジュールは、HSI キューブを 3D スペクトル空間トークンのセットに変換するように設計されています。
因果シーケンスのモデリングに限定され、高次元のシナリオに適応できない従来の Mamba の制限を克服するために、3D スペクトル空間選択スキャン (3DSS) メカニズムが導入され、3D ハイパースペクトル トークンに対してピクセル単位の選択スキャンを実行します。
スペクトル次元と空間次元。
ディメンションの優先順位付けの影響を調査するために、5 つのスキャン ルートが構築されています。
3DSS スキャン メカニズムと従来のマッピング操作を組み合わせると、3D スペクトル空間マンバ ブロック (3DMB) が形成され、グローバルなスペクトル空間意味表現の抽出が可能になります。
実験結果と分析は、提案された方法が HSI 分類ベンチマークで最先端の方法よりも優れていることを示しています。

要約(オリジナル)

Hyperspectral image (HSI) classification constitutes the fundamental research in remote sensing fields. Convolutional Neural Networks (CNNs) and Transformers have demonstrated impressive capability in capturing spectral-spatial contextual dependencies. However, these architectures suffer from limited receptive fields and quadratic computational complexity, respectively. Fortunately, recent Mamba architectures built upon the State Space Model integrate the advantages of long-range sequence modeling and linear computational efficiency, exhibiting substantial potential in low-dimensional scenarios. Motivated by this, we propose a novel 3D-Spectral-Spatial Mamba (3DSS-Mamba) framework for HSI classification, allowing for global spectral-spatial relationship modeling with greater computational efficiency. Technically, a spectral-spatial token generation (SSTG) module is designed to convert the HSI cube into a set of 3D spectral-spatial tokens. To overcome the limitations of traditional Mamba, which is confined to modeling causal sequences and inadaptable to high-dimensional scenarios, a 3D-Spectral-Spatial Selective Scanning (3DSS) mechanism is introduced, which performs pixel-wise selective scanning on 3D hyperspectral tokens along the spectral and spatial dimensions. Five scanning routes are constructed to investigate the impact of dimension prioritization. The 3DSS scanning mechanism combined with conventional mapping operations forms the 3D-spectral-spatial mamba block (3DMB), enabling the extraction of global spectral-spatial semantic representations. Experimental results and analysis demonstrate that the proposed method outperforms the state-of-the-art methods on HSI classification benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google