SSUMamba: Spatial-Spectral Selective State Space Model for Hyperspectral Image Denoising

要約

ノイズ除去は、イメージング内のメカニズムや環境要因に起因するノイズのため、ハイパースペクトル画像 (HSI) にとって重要な前処理手順です。
ディープラーニングベースのノイズ除去には、スペクトル相関、空間的自己相似性、空間スペクトル相関などの HSI のドメイン知識を利用することが不可欠です。
既存の手法は実行時間、空間の複雑さ、計算の複雑さによって制約を受けることが多く、これらの種類のドメイン知識を個別に調査する戦略を採用しています。
これらの戦略では、一部の冗長な情報を回避できますが、画像の復元にプラスの影響を与える、より広範囲で詳細な長距離の空間スペクトル情報が必然的に見落とされます。
この論文では、ハイパースペクトル画像ノイズ除去のための、空間スペクトル選択的状態空間モデルベースの U 字型ネットワークである空間スペクトル U-Mamba (SSUMamba) を提案します。
SSUMamba は、状態空間モデル (SSM) の計算における線形空間の複雑さのおかげで、モジュール内で完全なグローバル空間スペクトル相関を利用できます。
我々は、HSI 向けの空間スペクトル交互ジグザグ スキャン (SSAZS) 戦略を導入します。これは、HSI 内の 3 次元特性の複数方向の連続情報フローを活用するのに役立ちます。
実験結果は、私たちの方法が比較方法よりも優れていることを示しています。
ソース コードは https://github.com/lronkitty/SSUMamba で入手できます。

要約(オリジナル)

Denoising is a crucial preprocessing procedure for hyperspectral images (HSIs) due to the noise originating from intra-imaging mechanisms and environmental factors. Utilizing domain knowledge of HSIs, such as spectral correlation, spatial self-similarity, and spatial-spectral correlation, is essential for deep learning-based denoising. Existing methods are often constrained by running time, space complexity, and computational complexity, employing strategies that explore these kinds of domain knowledge separately. While these strategies can avoid some redundant information, they inevitably overlook broader and more in-depth long-range spatial-spectral information that positively impacts image restoration. This paper proposes a Spatial-Spectral Selective State Space Model-based U-shaped network, Spatial-Spectral U-Mamba (SSUMamba), for hyperspectral image denoising. The SSUMamba can exploit complete global spatial-spectral correlation within a module thanks to the linear space complexity in State Space Model (SSM) computations. We introduce a Spatial-Spectral Alternating Zigzag Scan (SSAZS) strategy for HSIs, which helps exploit the continuous information flow in multiple directions of 3-D characteristics within HSIs. Experimental results demonstrate that our method outperforms comparison methods. The source code is available at https://github.com/lronkitty/SSUMamba.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google