DifuzCam: Replacing Camera Lens with a Mask and a Diffusion Model

要約

フラットなレンズレスカメラ設計により、カメラのサイズと重量が大幅に削減されます。
この設計では、カメラのレンズが、入射光を妨げる別の光学素子に置き換えられます。
画像は、再構成アルゴリズムを使用して生のセンサー測定値から復元されます。
しかし、再構成された画像の品質は満足できるものではありません。
これを軽減するために、制御ネットワークを備えた事前トレーニング済みの拡散モデルと、再構築のために学習された分離可能な変換を利用することを提案します。
これにより、高品質のイメージングを備えたプロトタイプの平面カメラを構築することができ、品質と知覚の両方の点で最先端の結果が得られます。
私たちは、キャプチャされたシーンのテキストによる説明も活用して、再構築をさらに強化する機能を実証します。
事前にトレーニングされた拡散モデルの強力な機能を活用する当社の再構成方法は、他のイメージング システムで使用して再構成結果を向上させることができます。

要約(オリジナル)

The flat lensless camera design reduces the camera size and weight significantly. In this design, the camera lens is replaced by another optical element that interferes with the incoming light. The image is recovered from the raw sensor measurements using a reconstruction algorithm. Yet, the quality of the reconstructed images is not satisfactory. To mitigate this, we propose utilizing a pre-trained diffusion model with a control network and a learned separable transformation for reconstruction. This allows us to build a prototype flat camera with high-quality imaging, presenting state-of-the-art results in both terms of quality and perceptuality. We demonstrate its ability to leverage also textual descriptions of the captured scene to further enhance reconstruction. Our reconstruction method which leverages the strong capabilities of a pre-trained diffusion model can be used in other imaging systems for improved reconstruction results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google