Spectral-Spatial Mamba for Hyperspectral Image Classification

要約

最近、ディープ ラーニング モデルは、ハイパースペクトル画像 (HSI) 分類において優れたパフォーマンスを達成しました。
多くのディープ モデルの中でも、Transformer は、HSI における空間スペクトル特徴の長距離依存関係のモデリングにおける優れた点で徐々に注目を集めています。
ただし、Transformer には、セルフ アテンション メカニズムによる 2 次の計算量の問題があり、他のモデルよりも重いため、HSI 処理での採用は限られています。
幸いなことに、最近出現した状態空間モデルベースの Mamba は、Transformer のモデリング能力を実現しながら、優れた計算効率を示します。
したがって、この論文では、提案されたスペクトル空間マンバ (SS-Mamba) につながる HSI 分類にマンバを適用する予備的な試みを行います。
具体的には、提案された SS-Mamba は、主にスペクトル空間トークン生成モジュールといくつかのスタックされたスペクトル空間 Mamba ブロックで構成されます。
まず、トークン生成モジュールは、任意の HSI キューブをシーケンスとして空間トークンとスペクトル トークンに変換します。
そして、これらのトークンはスタックされたスペクトル空間マンバ ブロック (SS-MB) に送信されます。
各 SS-MB ブロックは、2 つの基本的なマンバ ブロックとスペクトル空間機能拡張モジュールで構成されます。
空間トークンとスペクトル トークンは、2 つの基本的なマンバ ブロックによってそれぞれ個別に処理されます。
さらに、機能拡張モジュールは、HSI サンプルの中心領域情報を使用して空間トークンとスペクトル トークンを変調します。
このようにして、スペクトルトークンと空間トークンは相互に連携し、各ブロック内で情報の融合を実現します。
広く使用されている HSI データセットに対して行われた実験結果は、提案されたモデルが最先端の方法と比較して競合する結果を達成していることを明らかにしています。
Mamba ベースの方法は、HSI 分類の新しいウィンドウを開きます。

要約(オリジナル)

Recently, deep learning models have achieved excellent performance in hyperspectral image (HSI) classification. Among the many deep models, Transformer has gradually attracted interest for its excellence in modeling the long-range dependencies of spatial-spectral features in HSI. However, Transformer has the problem of quadratic computational complexity due to the self-attention mechanism, which is heavier than other models and thus has limited adoption in HSI processing. Fortunately, the recently emerging state space model-based Mamba shows great computational efficiency while achieving the modeling power of Transformers. Therefore, in this paper, we make a preliminary attempt to apply the Mamba to HSI classification, leading to the proposed spectral-spatial Mamba (SS-Mamba). Specifically, the proposed SS-Mamba mainly consists of spectral-spatial token generation module and several stacked spectral-spatial Mamba blocks. Firstly, the token generation module converts any given HSI cube to spatial and spectral tokens as sequences. And then these tokens are sent to stacked spectral-spatial mamba blocks (SS-MB). Each SS-MB block consists of two basic mamba blocks and a spectral-spatial feature enhancement module. The spatial and spectral tokens are processed separately by the two basic mamba blocks, respectively. Besides, the feature enhancement module modulates spatial and spectral tokens using HSI sample’s center region information. In this way, the spectral and spatial tokens cooperate with each other and achieve information fusion within each block. The experimental results conducted on widely used HSI datasets reveal that the proposed model achieves competitive results compared with the state-of-the-art methods. The Mamba-based method opens a new window for HSI classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google