S$^2$Mamba: A Spatial-spectral State Space Model for Hyperspectral Image Classification

要約

ハイパースペクトル画像 (HSI) を使用した土地被覆解析は、空間解像度が低く、スペクトル情報が複雑であるため、依然として未解決の問題が残っています。
最近の研究は主に、空間スペクトルの長距離依存関係モデリングのための Transformer ベースのアーキテクチャの設計に特化していますが、これは 2 次の複雑さで計算コストが高くなります。
選択的構造化状態空間モデル (Mamba) は、線形複雑さを伴う長距離依存関係のモデル化に効率的であり、最近、有望な進歩を示しています。
ただし、多数のスペクトル帯域を処理する必要があるハイパースペクトル画像処理におけるその可能性はまだ調査されていません。
この論文では、ハイパースペクトル画像分類のための空間スペクトル状態空間モデルである S$^2$Mamba を革新的に提案し、空間スペクトルの文脈的特徴を発掘し、より効率的かつ正確な土地被覆解析を実現します。
S$^2$Mamba では、異なる次元による 2 つの選択的構造化状態空間モデルが特徴抽出用に設計されており、1 つは空間用、もう 1 つはスペクトル用であり、最適な融合のための空間スペクトル混合ゲートも備えています。
より具体的には、S$^2$Mamba はまず、パッチ クロス スキャン モジュールを通じて各ピクセルと隣接するピクセルを相互作用させることで空間的な文脈関係を捕捉し、次に双方向スペクトル スキャン モジュールを通じて連続スペクトル バンドから意味論的な情報を探索します。
均質で複雑なテクスチャ シーンにおける 2 つの属性の明確な専門知識を考慮して、学習可能な行列のグループによって空間スペクトル混合ゲートを実現し、さまざまな次元にわたって学習された表現を適応的に組み込むことができます。
HSI 分類ベンチマークに関して行われた広範な実験により、S$^2$Mamba の優位性と将来性が実証されました。
コードは https://github.com/PURE-melo/S2Mamba で入手可能になります。

要約(オリジナル)

Land cover analysis using hyperspectral images (HSI) remains an open problem due to their low spatial resolution and complex spectral information. Recent studies are primarily dedicated to designing Transformer-based architectures for spatial-spectral long-range dependencies modeling, which is computationally expensive with quadratic complexity. Selective structured state space model (Mamba), which is efficient for modeling long-range dependencies with linear complexity, has recently shown promising progress. However, its potential in hyperspectral image processing that requires handling numerous spectral bands has not yet been explored. In this paper, we innovatively propose S$^2$Mamba, a spatial-spectral state space model for hyperspectral image classification, to excavate spatial-spectral contextual features, resulting in more efficient and accurate land cover analysis. In S$^2$Mamba, two selective structured state space models through different dimensions are designed for feature extraction, one for spatial, and the other for spectral, along with a spatial-spectral mixture gate for optimal fusion. More specifically, S$^2$Mamba first captures spatial contextual relations by interacting each pixel with its adjacent through a Patch Cross Scanning module and then explores semantic information from continuous spectral bands through a Bi-directional Spectral Scanning module. Considering the distinct expertise of the two attributes in homogenous and complicated texture scenes, we realize the Spatial-spectral Mixture Gate by a group of learnable matrices, allowing for the adaptive incorporation of representations learned across different dimensions. Extensive experiments conducted on HSI classification benchmarks demonstrate the superiority and prospect of S$^2$Mamba. The code will be made available at: https://github.com/PURE-melo/S2Mamba.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google