SpectralMamba: Efficient Mamba for Hyperspectral Image Classification

要約

リカレント ニューラル ネットワークとトランスフォーマーは、スペクトル シーケンスから長距離の依存関係をキャプチャできる機能により、最近、ハイパースペクトル (HS) イメージングのほとんどのアプリケーションを支配しています。
しかし、これらのシーケンシャル アーキテクチャの成功にもかかわらず、並列化の難しさや計算上の注意が法外に高いことによって引き起こされる無視できない非効率性が、特にリモート センシング シナリオにおける大規模観測の実用性を依然として妨げています。
この問題に対処するために、我々はここで SpectralMamba を提案します。これは、HS 画像分類のための効率的な深層学習フレームワークを組み込んだ新しい状態空間モデルです。
SpectralMamba は、2 つのレベルでの HS データ ダイナミクスの簡素化された適切なモデリングを特徴としています。
まず、空間スペクトル空間では、動的マスクが効率的な畳み込みによって学習され、空間的規則性とスペクトルの特異性を同時にエンコードするため、識別表現学習におけるスペクトルの変動性と混乱が軽減されます。
第 2 に、マージされたスペクトルは、入力依存で学習されたすべてのパラメータを使用して隠れ状態空間で効率的に操作できるため、冗長な注意や並列不可能な再帰に依存することなく、選択的に焦点を当てた応答が得られます。
さらなる計算量のダウンサイジングの余地を探るため、その間に区分的スキャンメカニズムが採用され、数百のバンド間で短期および長期のコンテキストプロファイルを維持しながら、ほぼ連続したスペクトルを長さを絞ったシーケンスに転送します。
衛星、航空機、および UAV 搭載のイメージャによって取得された 4 つのベンチマーク HS データセットに対する広範な実験を通じて、SpectralMamba は驚くべきことに、パフォーマンスと効率の両方の観点から有望な双方にとって有利な結果を生み出しました。

要約(オリジナル)

Recurrent neural networks and Transformers have recently dominated most applications in hyperspectral (HS) imaging, owing to their capability to capture long-range dependencies from spectrum sequences. However, despite the success of these sequential architectures, the non-ignorable inefficiency caused by either difficulty in parallelization or computationally prohibitive attention still hinders their practicality, especially for large-scale observation in remote sensing scenarios. To address this issue, we herein propose SpectralMamba — a novel state space model incorporated efficient deep learning framework for HS image classification. SpectralMamba features the simplified but adequate modeling of HS data dynamics at two levels. First, in spatial-spectral space, a dynamical mask is learned by efficient convolutions to simultaneously encode spatial regularity and spectral peculiarity, thus attenuating the spectral variability and confusion in discriminative representation learning. Second, the merged spectrum can then be efficiently operated in the hidden state space with all parameters learned input-dependent, yielding selectively focused responses without reliance on redundant attention or imparallelizable recurrence. To explore the room for further computational downsizing, a piece-wise scanning mechanism is employed in-between, transferring approximately continuous spectrum into sequences with squeezed length while maintaining short- and long-term contextual profiles among hundreds of bands. Through extensive experiments on four benchmark HS datasets acquired by satellite-, aircraft-, and UAV-borne imagers, SpectralMamba surprisingly creates promising win-wins from both performance and efficiency perspectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google