HSRMamba: Contextual Spatial-Spectral State Space Model for Single Hyperspectral Super-Resolution

要約

Mambaは、強力なグローバルモデリング機能と線形計算の複雑さにより、視覚タスクの卓越したパフォーマンスを実証しており、ハイパースペクトルイメージの超解像度（HSISR）にかなりの可能性を提供しています。
ただし、HSISRでは、マンバは画像を1Dシーケンスに変換することで、局所的に隣接するピクセル間の空間スペクトル構造関係を無視するため、課題に直面しており、そのパフォーマンスは入力順序に非常に敏感であり、空間的詳細とスペクトルの両方の詳細の回復に影響します。
この論文では、HSISRのコンテキスト空間スペクトルモデリング状態空間モデルであるHSRMAMBAを、これらの問題にローカルおよびグローバルに対処することを提案します。
具体的には、ローカル空間スペクトル分割メカニズムは、3D機能の隣接ピクセル間のパッチごとの因果関係を確立するように設計されており、ローカルの忘却の問題を軽減します。
さらに、スペクトルの類似性に基づいたグローバルなスペクトル並べ替え戦略が採用され、空間的寸法とスペクトル次元の両方にわたる同様のピクセルの因果表現を強化します。
最後に、実験結果は、HSRMAMBAが定量的な品質と視覚的結果の最先端の方法よりも優れていることを示しています。
コードはまもなく利用可能になります。

要約(オリジナル)

Mamba has demonstrated exceptional performance in visual tasks due to its powerful global modeling capabilities and linear computational complexity, offering considerable potential in hyperspectral image super-resolution (HSISR). However, in HSISR, Mamba faces challenges as transforming images into 1D sequences neglects the spatial-spectral structural relationships between locally adjacent pixels, and its performance is highly sensitive to input order, which affects the restoration of both spatial and spectral details. In this paper, we propose HSRMamba, a contextual spatial-spectral modeling state space model for HSISR, to address these issues both locally and globally. Specifically, a local spatial-spectral partitioning mechanism is designed to establish patch-wise causal relationships among adjacent pixels in 3D features, mitigating the local forgetting issue. Furthermore, a global spectral reordering strategy based on spectral similarity is employed to enhance the causal representation of similar pixels across both spatial and spectral dimensions. Finally, experimental results demonstrate our HSRMamba outperforms the state-of-the-art methods in quantitative quality and visual results. Code will be available soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google