Multi-head Spatial-Spectral Mamba for Hyperspectral Image Classification

要約

Spatial-Spectral Mamba (SSM)は、計算効率を向上させ、長距離依存性を捉え、Transformerの限界に対処する。しかし、従来のマンバモデルはHSIの豊富なスペクトル情報を見落としており、高次元データや逐次的なデータに苦戦している。これらの問題に対処するために、我々はマルチヘッド自己注目とトークン強調を用いたSSM（MHSSMamba）を提案する。このモデルは、スペクトルトークンを強調し、マルチヘッドアテンションを用いてスペクトルバンドと空間位置の間の複雑な関係を捉えることにより、スペクトルと空間情報を統合する。また、HSIデータの長距離依存性と連続性を管理し、スペクトルバンド間の文脈情報を保持する。MHSSMambaは、Pavia Universityで97.62%、University of Houstonで96.92%、Salinasで96.85%、Wuhan-longKouデータセットで99.49%の顕著な分類精度を達成した。

要約(オリジナル)

Spatial-Spectral Mamba (SSM) improves computational efficiency and captures long-range dependencies, addressing Transformer limitations. However, traditional Mamba models overlook rich spectral information in HSIs and struggle with high dimensionality and sequential data. To address these issues, we propose the SSM with multi-head self-attention and token enhancement (MHSSMamba). This model integrates spectral and spatial information by enhancing spectral tokens and using multi-head attention to capture complex relationships between spectral bands and spatial locations. It also manages long-range dependencies and the sequential nature of HSI data, preserving contextual information across spectral bands. MHSSMamba achieved remarkable classification accuracies of 97.62\% on Pavia University, 96.92\% on the University of Houston, 96.85\% on Salinas, and 99.49\% on Wuhan-longKou datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL