Snapshot Spectral Compressive Imaging Reconstruction Using Convolution and Contextual Transformer

要約

スペクトル圧縮イメージング（SCI）は、高次元のハイパースペクトル画像を2D測定にエンコードし、アルゴリズムを使用して空間スペクトルデータキューブを再構築することができます。
現在、SCIの主なボトルネックは再構成アルゴリズムであり、最先端の（SOTA）再構成方法は、一般に、長い再構成時間および/または不十分な詳細回復の問題に直面しています。
本論文では、畳み込みの誘導バイアス能力と変圧器の強力なモデリング能力を同時に獲得することができ、再構成の品質を向上させるのに役立つ、新しいハイブリッドネットワークモジュール、すなわちCCoT（畳み込みおよび文脈変換器）ブロックを提案する。
詳細を復元します。
提案されたCCoTブロックを、一般化された交互投影アルゴリズムに基づく深い展開フレームワークに統合し、さらにGAP-CCoTネットワークを提案します。
広範な合成データと実際のデータの実験を通じて、提案されたモデルは、既存のSOTAアルゴリズムよりも高い再構成品質（シミュレートされたベンチマークデータセットのPSNRで$> $ 2dB）と短い実行時間を大幅に達成します。
コードとモデルはhttps://github.com/ucaswangls/GAP-CCoTで公開されています。

要約(オリジナル)

Spectral compressive imaging (SCI) is able to encode the high-dimensional hyperspectral image to a 2D measurement, and then uses algorithms to reconstruct the spatio-spectral data-cube. At present, the main bottleneck of SCI is the reconstruction algorithm, and the state-of-the-art (SOTA) reconstruction methods generally face the problem of long reconstruction time and/or poor detail recovery. In this paper, we propose a novel hybrid network module, namely CCoT (Convolution and Contextual Transformer) block, which can acquire the inductive bias ability of convolution and the powerful modeling ability of transformer simultaneously,and is conducive to improving the quality of reconstruction to restore fine details. We integrate the proposed CCoT block into deep unfolding framework based on the generalized alternating projection algorithm, and further propose the GAP-CCoT network. Through the experiments of extensive synthetic and real data, our proposed model achieves higher reconstruction quality ($>$2dB in PSNR on simulated benchmark datasets) and shorter running time than existing SOTA algorithms by a large margin. The code and models are publicly available at https://github.com/ucaswangls/GAP-CCoT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google