Residual Degradation Learning Unfolding Framework with Mixing Priors across Spectral and Spatial for Compressive Spectral Imaging

要約

スナップショットスペクトル画像を取得するために、符号化開口スナップショットスペクトルイメージング(CASSI)が提案されている。
CASSI システムの中心的な問題は、2D 測定から信頼性が高く、基礎となる微細な 3D スペクトル キューブを復元することです。
データ部分問題と以前の部分問題を交互に解決することにより、深層展開法は優れたパフォーマンスを達成します。
ただし、データ副問題では、使用されるセンシング マトリクスは、位相収差や歪みによって引き起こされるデバイス エラーのため、実際の劣化プロセスには適していません。
事前部分問題では、空間事前分布とスペクトル事前分布の両方を共同利用する適切なモデルを設計することが重要です。
この論文では、センシング マトリックスと劣化プロセスの間のギャップを埋める残留劣化学習展開フレームワーク (RDLUF) を提案します。
さらに、Mix$S^2$ Transformer は、スペクトル空間表現機能を強化するために、スペクトルと空間にわたる事前分布を混合することによって設計されています。
最後に、Mix$S^2$ Transformer を RDLUF に接続すると、エンドツーエンドのトレーニング可能なニューラル ネットワーク RDLUF-Mix$S^2$ が得られます。
実験結果は、提案された方法が既存の方法よりも優れた性能を実証した。

要約(オリジナル)

To acquire a snapshot spectral image, coded aperture snapshot spectral imaging (CASSI) is proposed. A core problem of the CASSI system is to recover the reliable and fine underlying 3D spectral cube from the 2D measurement. By alternately solving a data subproblem and a prior subproblem, deep unfolding methods achieve good performance. However, in the data subproblem, the used sensing matrix is ill-suited for the real degradation process due to the device errors caused by phase aberration, distortion; in the prior subproblem, it is important to design a suitable model to jointly exploit both spatial and spectral priors. In this paper, we propose a Residual Degradation Learning Unfolding Framework (RDLUF), which bridges the gap between the sensing matrix and the degradation process. Moreover, a Mix$S^2$ Transformer is designed via mixing priors across spectral and spatial to strengthen the spectral-spatial representation capability. Finally, plugging the Mix$S^2$ Transformer into the RDLUF leads to an end-to-end trainable neural network RDLUF-Mix$S^2$. Experimental results establish the superior performance of the proposed method over existing ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google