GMSR:Gradient-Guided Mamba for Spectral Reconstruction from RGB Images

要約

スペクトル再構成 (SR) への主流のアプローチは、主に畳み込みベースおよびトランスフォーマー ベースのアーキテクチャの設計に焦点を当てています。
ただし、CNN メソッドは長距離の依存関係を処理する際に課題に直面することがよくありますが、Transformer は計算効率の制限によって制約されます。
状態空間モデル (例: Mamba) の最近のブレークスルーは、そのほぼ線形な計算効率と優れたパフォーマンスにより大きな注目を集めており、SR 問題の可能性についての調査が促されています。
この目的を達成するために、我々は GMSR-Net と呼ばれる、RGB 画像からのスペクトル再構成のための勾配ガイド付き Mamba を提案します。
GMSR-Net は、グローバルな受容野と線形の計算複雑さを特徴とする軽量モデルです。
そのコアは複数のスタックされた Gradient Mamba (GM) ブロックで構成されており、それぞれが 3 分岐構造を特徴としています。
Mamba ブロックによる効率的なグローバル特徴表現の恩恵を受けることに加えて、空間およびスペクトル キューの再構築を導くために、空間勾配アテンションとスペクトル勾配アテンションをさらに革新的に導入します。
GMSR-Net は、精度と効率の大幅なトレードオフを示し、パラメーターの数と計算負荷を大幅に削減しながら、最先端のパフォーマンスを実現します。
既存のアプローチと比較して、GMSR-Net はパラメータと FLOPS をそれぞれ 10 倍と 20 倍という大幅なマージンで削減します。
コードは https://github.com/wxy11-27/GMSR で入手できます。

要約(オリジナル)

Mainstream approaches to spectral reconstruction (SR) primarily focus on designing Convolution- and Transformer-based architectures. However, CNN methods often face challenges in handling long-range dependencies, whereas Transformers are constrained by computational efficiency limitations. Recent breakthroughs in state-space model (e.g., Mamba) has attracted significant attention due to its near-linear computational efficiency and superior performance, prompting our investigation into its potential for SR problem. To this end, we propose the Gradient-guided Mamba for Spectral Reconstruction from RGB Images, dubbed GMSR-Net. GMSR-Net is a lightweight model characterized by a global receptive field and linear computational complexity. Its core comprises multiple stacked Gradient Mamba (GM) blocks, each featuring a tri-branch structure. In addition to benefiting from efficient global feature representation by Mamba block, we further innovatively introduce spatial gradient attention and spectral gradient attention to guide the reconstruction of spatial and spectral cues. GMSR-Net demonstrates a significant accuracy-efficiency trade-off, achieving state-of-the-art performance while markedly reducing the number of parameters and computational burdens. Compared to existing approaches, GMSR-Net slashes parameters and FLOPS by substantial margins of 10 times and 20 times, respectively. Code is available at https://github.com/wxy11-27/GMSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google