NeRFocus: Neural Radiance Field for 3D Synthetic Defocus

要約

神経放射場（NeRF）は、3D インタラクティブ体験に新しい波をもたらすものである。しかし、没入感を得るための重要な要素として、デフォーカス効果については、NeRFの中で十分に検討されていない。最近のNeRFベースの手法の中には、マルチプレーン技術を利用して、ポストプロセス方式で3Dデフォーカス効果を生成するものがあります。しかし、それらは時間やメモリを消費する。本論文では、様々な3Dデフォーカス効果を直接レンダリングできる新しい薄レンズ画像ベースのNeRFフレームワークを提案し、NeRFocusと名づけた。ピンホールと異なり、薄型レンズはシーンポイントからの光線を屈折させるため、センサー面上の撮像は錯乱円（CoC）として散乱する。この過程を近似するために十分な光線をサンプリングする直接解は、計算コストが高い。そこで、我々は、薄レンズ撮像を逆手にとって、センサ面上の各点の光路を明示的にモデル化し、このパラダイムを各画素の光路に一般化し、フラストムベースのボリュームレンダリングを用いて各画素の光路をレンダリングすることを提案する。さらに、学習プロセスを大幅に簡略化するために、効率的な確率的学習（p-training）戦略を設計する。本技術は、カメラのポーズ、フォーカス距離、アパーチャサイズを調整することで、様々な3Dデフォーカス効果を実現できることを、広範な実験により実証している。既存のNeRFは、被写界深度を大きくするために絞り値を0に設定することで、我々の特殊なケースと見なすことができます。このように、NeRFocusはNeRF本来の性能（学習・推論時間、パラメータ消費、レンダリング品質など）を犠牲にしていないため、より広い応用とさらなる改良の可能性を持っています。コードと動画は、https://github.com/wyhuai/NeRFocus でご覧いただけます。

要約(オリジナル)

Neural radiance fields (NeRF) bring a new wave for 3D interactive experiences. However, as an important part of the immersive experiences, the defocus effects have not been fully explored within NeRF. Some recent NeRF-based methods generate 3D defocus effects in a post-process fashion by utilizing multiplane technology. Still, they are either time-consuming or memory-consuming. This paper proposes a novel thin-lens-imaging-based NeRF framework that can directly render various 3D defocus effects, dubbed NeRFocus. Unlike the pinhole, the thin lens refracts rays of a scene point, so its imaging on the sensor plane is scattered as a circle of confusion (CoC). A direct solution sampling enough rays to approximate this process is computationally expensive. Instead, we propose to inverse the thin lens imaging to explicitly model the beam path for each point on the sensor plane and generalize this paradigm to the beam path of each pixel, then use the frustum-based volume rendering to render each pixel’s beam path. We further design an efficient probabilistic training (p-training) strategy to simplify the training process vastly. Extensive experiments demonstrate that our NeRFocus can achieve various 3D defocus effects with adjustable camera pose, focus distance, and aperture size. Existing NeRF can be regarded as our special case by setting aperture size as zero to render large depth-of-field images. Despite such merits, NeRFocus does not sacrifice NeRF’s original performance (e.g., training and inference time, parameter consumption, rendering quality), which implies its great potential for broader application and further improvement. Code and video are available at https://github.com/wyhuai/NeRFocus.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL