NeRF as a Non-Distant Environment Emitter in Physics-based Inverse Rendering

要約

物理ベースの逆レンダリングにより、キャプチャした 2D 画像に基づいて形状、素材、照明を統合して最適化できます。
正確な再構築を保証するには、キャプチャされた環境によく似たライト モデルを使用することが不可欠です。
広く採用されている遠方環境照明モデルは多くの場合に適切ですが、空間的に変化する照明を捉えることができないため、現実世界の多くの逆レンダリング シナリオにおいて再構成が不正確になる可能性があることを実証します。
この制限に対処するために、NeRF を非遠隔環境エミッターとして逆レンダリング パイプラインに組み込みます。
さらに、レンダリングのばらつきを減らすために、NeRF にエミッター重要度サンプリング手法を導入します。
実際のデータセットと合成データセットの両方での比較を通じて、結果は、NeRF ベースのエミッターがシーンの照明をより正確に表現し、それによって逆レンダリングの精度が向上することを示しています。

要約(オリジナル)

Physics-based inverse rendering enables joint optimization of shape, material, and lighting based on captured 2D images. To ensure accurate reconstruction, using a light model that closely resembles the captured environment is essential. Although the widely adopted distant environmental lighting model is adequate in many cases, we demonstrate that its inability to capture spatially varying illumination can lead to inaccurate reconstructions in many real-world inverse rendering scenarios. To address this limitation, we incorporate NeRF as a non-distant environment emitter into the inverse rendering pipeline. Additionally, we introduce an emitter importance sampling technique for NeRF to reduce the rendering variance. Through comparisons on both real and synthetic datasets, our results demonstrate that our NeRF-based emitter offers a more precise representation of scene lighting, thereby improving the accuracy of inverse rendering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google