Efficient One-Step Diffusion Refinement for Snapshot Compressive Imaging

要約

コード化開口スナップショット スペクトル イメージング (CASSI) は、コード化された 2 次元測定値からこれらの画像を再構成する複雑な逆タスクを通じて 3 次元マルチスペクトル画像 (MSI) をキャプチャするための重要な技術です。
現在の最先端の手法（主にエンドツーエンド）は、高周波の詳細を再構成する際に限界に直面しており、KAIST や CAVE などの制約されたデータセットに依存することが多く、その結果一般化性の低いモデルが生成されます。
これらの課題に対応して、この論文では、スナップショット圧縮イメージング (SCI) の自己教師あり適応フレームワーク内の新しいワンステップ拡散確率モデルを紹介します。
私たちのアプローチは、事前トレーニングされた SCI 再構築ネットワークを利用して、2 次元測定から初期予測を生成します。
その後、ワンステップ拡散モデルによって高周波残差が生成され、これらの初期予測が強化されます。
さらに、MSI の収集に関連するコストが高いことを認識し、等変イメージング (EI) フレームワークに基づいた自己教師ありパラダイムを開発しました。
実験結果は、以前の方法と比較してモデルの優位性を検証し、そのシンプルさとさまざまなエンドツーエンドまたは展開技術への適応性を示しています。

要約(オリジナル)

Coded Aperture Snapshot Spectral Imaging (CASSI) is a crucial technique for capturing three-dimensional multispectral images (MSIs) through the complex inverse task of reconstructing these images from coded two-dimensional measurements. Current state-of-the-art methods, predominantly end-to-end, face limitations in reconstructing high-frequency details and often rely on constrained datasets like KAIST and CAVE, resulting in models with poor generalizability. In response to these challenges, this paper introduces a novel one-step Diffusion Probabilistic Model within a self-supervised adaptation framework for Snapshot Compressive Imaging (SCI). Our approach leverages a pretrained SCI reconstruction network to generate initial predictions from two-dimensional measurements. Subsequently, a one-step diffusion model produces high-frequency residuals to enhance these initial predictions. Additionally, acknowledging the high costs associated with collecting MSIs, we develop a self-supervised paradigm based on the Equivariant Imaging (EI) framework. Experimental results validate the superiority of our model compared to previous methods, showcasing its simplicity and adaptability to various end-to-end or unfolding techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google