Dual-Camera All-in-Focus Neural Radiance Fields

要約

手動の再焦点を合わせることなく、入力からオールインフォーカスニューラル放射輝度（NERF）を合成できる最初のフレームワークを提示します。
再び焦点を合わせることなく、カメラはすべてのビューの固定オブジェクトに自動的に焦点を合わせ、通常のNERFメソッドは通常、一貫したデフォーカスのぼかしと鋭い参照がないために1つのカメラ障害を使用します。
オールインフォーカスナーフを復元するために、スマートフォンからデュアルカメラを紹介します。ここでは、超幅のカメラにはより広いディープフィールド（DOF）があり、メインカメラはより高い解像度を備えています。
デュアルカメラペアは、メインカメラから高忠実度の詳細を保存し、オールインフォーカスの復元のための参照として、超幅のカメラのディープDOFを使用します。
この目的のために、最初にデュアルカメラを整列させるために空間ワーピングとカラーマッチングを実装し、その後、学習可能なフォージョンモジュールを学習可能なフォージョンパラメーターで実装して、デフォーカスマップを予測し、整列カメラペアを融合します。
また、スマートフォン内のメインカメラと超幅のカメラの画像ペアを含むマルチビューデータセットも構築します。
このデータセットでの広範な実験では、DC-NERFと呼ばれるソリューションが高品質のオールインフォーカスの新規ビューを生成し、定量的および定性的に強力なベースラインと好意的に比較できることを確認します。
さらに、調整可能なぼかし強度と焦点面を備えたDC-NERFのDOFアプリケーションを示し、焦点を吸収したり、ディオプターを分割したりします。

要約(オリジナル)

We present the first framework capable of synthesizing the all-in-focus neural radiance field (NeRF) from inputs without manual refocusing. Without refocusing, the camera will automatically focus on the fixed object for all views, and current NeRF methods typically using one camera fail due to the consistent defocus blur and a lack of sharp reference. To restore the all-in-focus NeRF, we introduce the dual-camera from smartphones, where the ultra-wide camera has a wider depth-of-field (DoF) and the main camera possesses a higher resolution. The dual camera pair saves the high-fidelity details from the main camera and uses the ultra-wide camera’s deep DoF as reference for all-in-focus restoration. To this end, we first implement spatial warping and color matching to align the dual camera, followed by a defocus-aware fusion module with learnable defocus parameters to predict a defocus map and fuse the aligned camera pair. We also build a multi-view dataset that includes image pairs of the main and ultra-wide cameras in a smartphone. Extensive experiments on this dataset verify that our solution, termed DC-NeRF, can produce high-quality all-in-focus novel views and compares favorably against strong baselines quantitatively and qualitatively. We further show DoF applications of DC-NeRF with adjustable blur intensity and focal plane, including refocusing and split diopter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google