HSIDMamba: Exploring Bidirectional State-Space Models for Hyperspectral Denoising

要約

HSI ノイズ除去では空間スペクトルの依存関係を効果的に識別することが重要ですが、畳み込みやトランスフォーマーを使用する一般的な方法は依然として計算効率の限界に直面しています。
最近、新興の選択状態空間モデル (Mamba) が自然言語シーケンスの処理におけるほぼ線形の計算複雑性を備えて台頭しており、これが私たちに長いスペクトル シーケンスの処理におけるその可能性を探求するきっかけを与えました。
この論文では、HSI ノイズ除去における空間スペクトル依存性を効果的に捕捉するための線形複雑性を利用するように調整された HSIDMamba(HSDM) を提案します。
特に、HSDM は、BCSM (双方向連続スキャン メカニズム)、スケール残差、およびスペクトル アテンション メカニズムを組み込んだ複数のハイパースペクトル連続スキャン ブロックで構成され、長距離および局所的な空間スペクトル情報の捕捉を強化します。
BCSM は、前方スキャンと後方スキャンをリンクし、SSM を通じて 8 方向からの情報を強化することで空間スペクトルの相互作用を強化し、HSDM の知覚能力を大幅に強化し、ノイズ除去パフォーマンスをより効果的に向上させます。
HSI ノイズ除去ベンチマークに対する広範な評価により、HSDM の優れたパフォーマンスが検証され、パフォーマンスにおいて最先端の結果が達成され、最新のトランス アーキテクチャの効率を $30\%$ 上回りました。

要約(オリジナル)

Effectively discerning spatial-spectral dependencies in HSI denoising is crucial, but prevailing methods using convolution or transformers still face computational efficiency limitations. Recently, the emerging Selective State Space Model(Mamba) has risen with its nearly linear computational complexity in processing natural language sequences, which inspired us to explore its potential in handling long spectral sequences. In this paper, we propose HSIDMamba(HSDM), tailored to exploit the linear complexity for effectively capturing spatial-spectral dependencies in HSI denoising. In particular, HSDM comprises multiple Hyperspectral Continuous Scan Blocks, incorporating BCSM(Bidirectional Continuous Scanning Mechanism), scale residual, and spectral attention mechanisms to enhance the capture of long-range and local spatial-spectral information. BCSM strengthens spatial-spectral interactions by linking forward and backward scans and enhancing information from eight directions through SSM, significantly enhancing the perceptual capability of HSDM and improving denoising performance more effectively. Extensive evaluations against HSI denoising benchmarks validate the superior performance of HSDM, achieving state-of-the-art results in performance and surpassing the efficiency of the latest transformer architectures by $30\%$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google