Detail Matters: Mamba-Inspired Joint Unfolding Network for Snapshot Spectral Compressive Imaging

要約

コード化開口スナップショットスペクトルイメージングシステムにおいて、ディープアンフォールディングネットワーク（DUN）は、単一の2D測定から3Dハイパースペクトル画像（HSI）を復元する上で目覚ましい進歩を遂げてきた。しかし、HSI 再構築に固有の非線形かつ非有理解特性は、精度と安定性の点で既存の手法に依然として課題を与えている。この問題に対処するため、我々は物理学組み込みのDUNと学習ベースのHSIイメージングを統合するMamba-inspired Joint Unfolding Network (MiJUN)を提案する。まず、アンフォールディングネットワークの表現空間を拡張するための台形離散化の概念を活用し、加速されたアンフォールディングネットワークスキームを導入する。このアプローチは、2次微分方程式を用いた一般化された加速半2次分割と解釈することができ、初期最適化段階への依存を減らし、長距離相互作用に関する課題に対処する。重要なのは、マンバフレームワークの中で、選択的状態空間モデルと注意メカニズムを組み込むことにより、マンバにインスパイアされたグローバルからローカルへの注意メカニズムを再構築することである。これにより、マンバをトランスフォーマー｝アーキテクチャの変形として効果的に再解釈し、その適応性と効率を向上させる。さらに、テンソルモード$k$展開をMambaネットワークに統合することで、Mambaによるスキャニング戦略を洗練させる。このアプローチにより、様々なモードに沿ったテンソルの低ランク特性が強調され、同時に12のスキャン方向が便利になる。シミュレーションと実データの数値的・視覚的比較により、我々の提案するMiJUNの優位性が示され、圧倒的な詳細表現が達成された。

要約(オリジナル)

In the coded aperture snapshot spectral imaging system, Deep Unfolding Networks (DUNs) have made impressive progress in recovering 3D hyperspectral images (HSIs) from a single 2D measurement. However, the inherent nonlinear and ill-posed characteristics of HSI reconstruction still pose challenges to existing methods in terms of accuracy and stability. To address this issue, we propose a Mamba-inspired Joint Unfolding Network (MiJUN), which integrates physics-embedded DUNs with learning-based HSI imaging. Firstly, leveraging the concept of trapezoid discretization to expand the representation space of unfolding networks, we introduce an accelerated unfolding network scheme. This approach can be interpreted as a generalized accelerated half-quadratic splitting with a second-order differential equation, which reduces the reliance on initial optimization stages and addresses challenges related to long-range interactions. Crucially, within the Mamba framework, we restructure the Mamba-inspired global-to-local attention mechanism by incorporating a selective state space model and an attention mechanism. This effectively reinterprets Mamba as a variant of the Transformer} architecture, improving its adaptability and efficiency. Furthermore, we refine the scanning strategy with Mamba by integrating the tensor mode-$k$ unfolding into the Mamba network. This approach emphasizes the low-rank properties of tensors along various modes, while conveniently facilitating 12 scanning directions. Numerical and visual comparisons on both simulation and real datasets demonstrate the superiority of our proposed MiJUN, and achieving overwhelming detail representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL