PhoCoLens: Photorealistic and Consistent Reconstruction in Lensless Imaging

要約

レンズレスカメラは、従来のレンズベースのシステムと比較して、サイズ、重量、コストの点で大きな利点があります。
焦点レンズがなければ、レンズレスカメラは計算アルゴリズムに依存して多重測定からシーンを復元します。
しかし、現在のアルゴリズムは、不正確な前方イメージング モデルと、高品質の画像を再構成するための不十分な事前情報に苦戦しています。
これらの制限を克服するために、一貫したフォトリアリスティックなレンズレス画像再構成のための新しい 2 段階のアプローチを導入します。
私たちのアプローチの最初の段階では、カメラの視野全体にわたる点像分布関数 (PSF) の変化に適応する、空間的に変化するデコンボリューション手法を使用して低周波コンテンツを正確に再構築することに重点を置くことで、データの一貫性を確保します。
第 2 段階では、事前にトレーニングされた拡散モデルからの事前生成を組み込むことで、フォトリアリズムが強化されます。
最初の段階で取得した低周波コンテンツを条件付けすることで、拡散モデルは、画像の忠実性を維持しながら、レンズなしのイメージング プロセスで通常失われる高周波の詳細を効果的に再構築します。
2 つの人気のあるレンズレス システム、PhlatCam と DiffuserCam で実証されているように、私たちの方法は、既存の方法と比較して、データの忠実性と視覚的品質の間の優れたバランスを実現します。
プロジェクトの Web サイト: https://phocolens.github.io/。

要約(オリジナル)

Lensless cameras offer significant advantages in size, weight, and cost compared to traditional lens-based systems. Without a focusing lens, lensless cameras rely on computational algorithms to recover the scenes from multiplexed measurements. However, current algorithms struggle with inaccurate forward imaging models and insufficient priors to reconstruct high-quality images. To overcome these limitations, we introduce a novel two-stage approach for consistent and photorealistic lensless image reconstruction. The first stage of our approach ensures data consistency by focusing on accurately reconstructing the low-frequency content with a spatially varying deconvolution method that adjusts to changes in the Point Spread Function (PSF) across the camera’s field of view. The second stage enhances photorealism by incorporating a generative prior from pre-trained diffusion models. By conditioning on the low-frequency content retrieved in the first stage, the diffusion model effectively reconstructs the high-frequency details that are typically lost in the lensless imaging process, while also maintaining image fidelity. Our method achieves a superior balance between data fidelity and visual quality compared to existing methods, as demonstrated with two popular lensless systems, PhlatCam and DiffuserCam. Project website: https://phocolens.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google