Let There Be Light: Robust Lensless Imaging Under External Illumination With Deep Learning

要約

レンズレスカメラは、画像形成をアナログ光学からデジタル後処理に移行することにより、従来のカメラの設計上の制約を緩和します。
新しいカメラの設計やアプリケーションを有効にすることはできますが、レンズレス イメージングは​​不要な干渉 (他の発生源、ノイズなど) に非常に敏感です。
この研究では、レンズレス イメージングでは研究されていない一般的なノイズ源、つまり外部照明 (例: 外部照明) に対処します。
周囲の照明と直接照明から。
さまざまな照明条件に対して堅牢であれば、レンズレスイメージングの実用性と採用が増加します。
この目的を達成するために、外部照明の推定を画像回復プロセスに組み込むことによって外部照明を考慮する複数の回復アプローチを提案します。
中心となるのは、学習可能な画像回復とデノイザーを組み合わせた物理ベースの再構成であり、そのすべてのパラメーターは実験的に収集されたデータを使用してトレーニングされます。
標準的な再構成手法と比較して、私たちのアプローチは質的および量的において大幅な改善をもたらします。
私たちは実装と、複数の照明条件下での測定値の 25,000 のデータセットをオープンソースにしています。

要約(オリジナル)

Lensless cameras relax the design constraints of traditional cameras by shifting image formation from analog optics to digital post-processing. While new camera designs and applications can be enabled, lensless imaging is very sensitive to unwanted interference (other sources, noise, etc.). In this work, we address a prevalent noise source that has not been studied for lensless imaging: external illumination e.g. from ambient and direct lighting. Being robust to a variety of lighting conditions would increase the practicality and adoption of lensless imaging. To this end, we propose multiple recovery approaches that account for external illumination by incorporating its estimate into the image recovery process. At the core is a physics-based reconstruction that combines learnable image recovery and denoisers, all of whose parameters are trained using experimentally gathered data. Compared to standard reconstruction methods, our approach yields significant qualitative and quantitative improvements. We open-source our implementations and a 25K dataset of measurements under multiple lighting conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google