NeRF as Non-Distant Environment Emitter in Physics-based Inverse Rendering

要約

物理ベースの逆レンダリングは、キャプチャされた 2D 画像から形状、マテリアル、照明を共同で最適化することを目的としています。
ここで、照明は、忠実な光輸送シミュレーションを実現するための重要な部分です。
環境マップはインバース レンダリングの照明モデルとして一般的に使用されますが、その遠方照明の仮定が空間不変照明につながり、現実世界のインバース レンダリングでは不正確な近似となる可能性があることを示します。
空間的に変化する環境照明モデルとして NeRF を使用し、非遠隔環境エミッターとして NeRF を使用する逆レンダリング パイプラインを構築することを提案します。
私たちの方法を実際のデータセットおよび合成データセットの環境マップと比較することで、NeRF ベースのエミッターがシーンの照明をより正確にモデル化し、より正確な逆レンダリングにつながることを示します。
プロジェクトページとビデオ: https://nerfemitterpbir.github.io/。

要約(オリジナル)

Physics-based inverse rendering aims to jointly optimize shape, materials, and lighting from captured 2D images. Here lighting is an important part of achieving faithful light transport simulation. While the environment map is commonly used as the lighting model in inverse rendering, we show that its distant lighting assumption leads to spatial invariant lighting, which can be an inaccurate approximation in real-world inverse rendering. We propose to use NeRF as a spatially varying environment lighting model and build an inverse rendering pipeline using NeRF as the non-distant environment emitter. By comparing our method with the environment map on real and synthetic datasets, we show that our NeRF-based emitter models the scene lighting more accurately and leads to more accurate inverse rendering. Project page and video: https://nerfemitterpbir.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google