Multi-head Spatial-Spectral Mamba for Hyperspectral Image Classification

要約

Spatial-Spectral Mamba (SSM) は、計算効率を向上させ、長距離の依存関係をキャプチャして、Transformer の制限に対処します。
しかし、従来の Mamba モデルは HSI の豊富なスペクトル情報を見落としており、高次元性と連続データに苦労しています。
これらの問題に対処するために、マルチヘッドセルフアテンションとトークン拡張機能を備えた SSM (MHSSMamba) を提案します。
このモデルは、スペクトル トークンを強化し、マルチヘッド アテンションを使用してスペクトル帯域と空間位置の間の複雑な関係を捉えることによって、スペクトル情報と空間情報を統合します。
また、HSI データの長距離依存関係と逐次的な性質も管理し、スペクトル帯域全体でコンテキスト情報を保持します。
MHSSMamba は、パヴィア大学で 97.62\%、ヒューストン大学で 96.92\%、サリナスで 96.85\%、武漢龍口データセットで 99.49\% という驚くべき分類精度を達成しました。
ソース コードは \href{https://github.com/MHassaanButt/MHA\_SS\_Mamba}{GitHub} で入手できます。

要約(オリジナル)

Spatial-Spectral Mamba (SSM) improves computational efficiency and captures long-range dependencies, addressing Transformer limitations. However, traditional Mamba models overlook rich spectral information in HSIs and struggle with high dimensionality and sequential data. To address these issues, we propose the SSM with multi-head self-attention and token enhancement (MHSSMamba). This model integrates spectral and spatial information by enhancing spectral tokens and using multi-head attention to capture complex relationships between spectral bands and spatial locations. It also manages long-range dependencies and the sequential nature of HSI data, preserving contextual information across spectral bands. MHSSMamba achieved remarkable classification accuracies of 97.62\% on Pavia University, 96.92\% on the University of Houston, 96.85\% on Salinas, and 99.49\% on Wuhan-longKou datasets. The source code is available at \href{https://github.com/MHassaanButt/MHA\_SS\_Mamba}{GitHub}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google