Towards Single-Lens Controllable Depth-of-Field Imaging via Depth-Aware Point Spread Functions

要約

制御可能なディープオブフィールド（DOF）イメージングは​​、一般に、重くて高価なハイエンドレンズに基づいて驚くべき視覚効果を生成します。
ただし、モバイルシナリオの需要の増加に直面しているため、ミニマリスト光学システム（MO）を使用して軽量ソリューションを実現することが望ましいです。
この作業は、MOの2つの主要な制限、つまり、計算方法を介して単一レンズ制御可能なDOFイメージングを達成するための重度の光学異常と制御不能なDOFを中心にしています。
深さに対応する制御可能なDOFイメージング（DCDI）フレームワークが提案されています。オールインフォーカス（AIF）異常補正と単眼深度推定が提案されています。ここでは、回復した画像と対応する深度マップが利用され、高いDOFの下でイメージング結果を生成するために使用されます。
– パッチごとの畳み込みによるエンドレンズ。
深さの変化の光学分解に対処するために、深さに触れた劣化適応トレーニング（DA2T）スキームを導入します。
データセットレベルでは、さまざまなオブジェクト距離でのポイントスプレッド関数（PSF）のシミュレーションに基づいて、深度認識異常MOS（DAMOS）データセットが確立されます。
さらに、深さ情報の回復に深さ情報を埋め込んで、深さに対応する劣化を改善するために、2つのプラグアンドプレイの深さアウェアメカニズムを設計します。
さらに、さまざまなレンズの4D PSFライブラリを表すために、ストレージ効率の高いOmni-Lens-Fieldモデルを提案します。
予測された深度マップ、回復した画像、およびオムニレンズフィールドによって推測される深度認識PSFマップにより、シングルレンズ制御可能なDOFイメージングが達成されます。
包括的な実験結果は、提案されたフレームワークが回復パフォーマンスを向上させ、印象的なシングルレンズ制御可能なDOFイメージング結果を達成し、このフィールドに独創的なベースラインを提供することを示しています。
ソースコードと確立されたデータセットは、https://github.com/xiaolongqian/dcdiで公開されます。

要約(オリジナル)

Controllable Depth-of-Field (DoF) imaging commonly produces amazing visual effects based on heavy and expensive high-end lenses. However, confronted with the increasing demand for mobile scenarios, it is desirable to achieve a lightweight solution with Minimalist Optical Systems (MOS). This work centers around two major limitations of MOS, i.e., the severe optical aberrations and uncontrollable DoF, for achieving single-lens controllable DoF imaging via computational methods. A Depth-aware Controllable DoF Imaging (DCDI) framework is proposed equipped with All-in-Focus (AiF) aberration correction and monocular depth estimation, where the recovered image and corresponding depth map are utilized to produce imaging results under diverse DoFs of any high-end lens via patch-wise convolution. To address the depth-varying optical degradation, we introduce a Depth-aware Degradation-adaptive Training (DA2T) scheme. At the dataset level, a Depth-aware Aberration MOS (DAMOS) dataset is established based on the simulation of Point Spread Functions (PSFs) under different object distances. Additionally, we design two plug-and-play depth-aware mechanisms to embed depth information into the aberration image recovery for better tackling depth-aware degradation. Furthermore, we propose a storage-efficient Omni-Lens-Field model to represent the 4D PSF library of various lenses. With the predicted depth map, recovered image, and depth-aware PSF map inferred by Omni-Lens-Field, single-lens controllable DoF imaging is achieved. Comprehensive experimental results demonstrate that the proposed framework enhances the recovery performance, and attains impressive single-lens controllable DoF imaging results, providing a seminal baseline for this field. The source code and the established dataset will be publicly available at https://github.com/XiaolongQian/DCDI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google