DoF-NeRF: Depth-of-Field Meets Neural Radiance Fields

要約

Neural Radiance Field (NeRF) とその亜種は、3D シーンの表現と写真のようにリアルな斬新なビューの合成に大きな成功を収めています。
ただし、これらは一般にピンホール カメラ モデルに基づいており、全焦点入力を前提としています。
これは、現実世界からキャプチャされた画像の被写界深度 (DoF) が有限であることが多いため、適用性を制限します。
この問題を軽減するために、浅い DoF 入力を処理し、DoF 効果をシミュレートできる新しいニューラル レンダリング アプローチである DoF-NeRF を導入します。
具体的には、NeRF を拡張して、幾何光学の原理に従ってレンズの開口をシミュレートします。
このような物理的な保証により、DoF-NeRF は異なるフォーカス構成でビューを操作できます。
DoF-NeRF は、明示的なアパーチャ モデリングの恩恵を受けて、仮想アパーチャとフォーカス パラメータを調整することで DoF 効果を直接操作することもできます。
プラグアンドプレイで、NeRF ベースのフレームワークに挿入できます。
合成および実世界のデータセットに関する実験では、DoF-NeRF は全焦点設定で NeRF と同等の性能を発揮するだけでなく、浅い DoF 入力で調整された全焦点の新しいビューを合成できることも示されています。
DoF-NeRF の DoF レンダリングへの興味深いアプリケーションも示されています。
ソースコードは https://github.com/zijinwuzijin/DoF-NeRF で公開されます。

要約(オリジナル)

Neural Radiance Field (NeRF) and its variants have exhibited great success on representing 3D scenes and synthesizing photo-realistic novel views. However, they are generally based on the pinhole camera model and assume all-in-focus inputs. This limits their applicability as images captured from the real world often have finite depth-of-field (DoF). To mitigate this issue, we introduce DoF-NeRF, a novel neural rendering approach that can deal with shallow DoF inputs and can simulate DoF effect. In particular, it extends NeRF to simulate the aperture of lens following the principles of geometric optics. Such a physical guarantee allows DoF-NeRF to operate views with different focus configurations. Benefiting from explicit aperture modeling, DoF-NeRF also enables direct manipulation of DoF effect by adjusting virtual aperture and focus parameters. It is plug-and-play and can be inserted into NeRF-based frameworks. Experiments on synthetic and real-world datasets show that, DoF-NeRF not only performs comparably with NeRF in the all-in-focus setting, but also can synthesize all-in-focus novel views conditioned on shallow DoF inputs. An interesting application of DoF-NeRF to DoF rendering is also demonstrated. The source code will be made available at https://github.com/zijinwuzijin/DoF-NeRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google