SSUMamba: Spatial-Spectral Selective State Space Model for Hyperspectral Image Denoising

要約

ハイパースペクトル画像 (HSI) のノイズ除去は、画像内メカニズムや環境要因に起因するノイズのため、重要な前処理手順です。
ディープラーニングベースのノイズ除去には、スペクトル相関、空間的自己相似性、空間スペクトル相関など、HSI のドメイン固有の知識を利用することが不可欠です。
既存の手法は実行時間、空間の複雑さ、計算の複雑さによって制約を受けることが多く、これらの事前分布を個別に調査する戦略を採用しています。
これらの戦略では、一部の冗長な情報を回避できますが、画像の復元にプラスの影響を与える、より広範囲でより基礎となる長距離の空間スペクトル情報が必然的に見落とされます。
この論文では、ハイパースペクトル画像のノイズ除去のために、空間スペクトル U-Mamba (SSUMamba) と呼ばれる空間スペクトル選択的状態空間モデル ベースの U 字型ネットワークを提案します。
状態空間モデル (SSM) 計算における線形空間の複雑さのおかげで、モジュール内で完全なグローバル空間スペクトル相関を取得できます。
HSI 向けに空間スペクトル交互スキャン (SSAS) 戦略を導入します。これは、3 次元 HSI における複数方向の情報フローのモデル化に役立ちます。
実験結果は、私たちの方法が比較された方法よりも優れていることを示しています。
ソース コードは https://github.com/lronkitty/SSUMamba で入手できます。

要約(オリジナル)

Denoising hyperspectral images (HSIs) is a crucial preprocessing procedure due to the noise originating from intra-imaging mechanisms and environmental factors. Utilizing domain-specific knowledge of HSIs, such as spectral correlation, spatial self-similarity, and spatial-spectral correlation, is essential for deep learning-based denoising. Existing methods are often constrained by running time, space complexity, and computational complexity, employing strategies that explore these priors separately. While these strategies can avoid some redundant information, they inevitably overlook broader and more underlying long-range spatial-spectral information that positively impacts image restoration. This paper proposes a Spatial-Spectral Selective State Space Model-based U-shaped network, termed Spatial-Spectral U-Mamba (SSUMamba), for hyperspectral image denoising. We can obtain complete global spatial-spectral correlation within a module thanks to the linear space complexity in State Space Model (SSM) computations. We introduce a Spatial-Spectral Alternating Scan (SSAS) strategy for HSIs, which helps model the information flow in multiple directions in 3-D HSIs. Experimental results demonstrate that our method outperforms compared methods. The source code is available at https://github.com/lronkitty/SSUMamba.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google