Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes

要約

タイトル：ニューラルフィールドと明示的幾何表現が都市シーンの逆レンダリングに適用される

要約：
– 撮影された映像からシーンの再構成と内部分解を行うことで、ライトの再現や仮想物体の挿入など多くのアプリケーションが可能になる。
– 最近のNeRFベースの手法は3D再構築の精度が高いが、ライティングやシャドウは放射フィールドに組み込まれるため、陰影の解明に繋がるメッシュベースの手法はまだ屋外シーンの複雑さとスケールに対応していない。
– 我々は、大規模な都市シーンの逆レンダリングのための新しい逆レンダリングフレームワークを提案する。これは、RGB画像のセットから、オプションの深度を持つ画像から、シーンのジオメトリ、空間変動素材、HDRライティングを同時に再構築することができる。
– 特に、主要な光線を考慮するためにニューラルフィールドを使用し、高次の光効果（キャストシャドウなど）を生成する二次光線のモデリングには明示的メッシュを使用する。
– 複雑なジオメトリと素材をライティング効果から正確に分離することで、我々の手法は屋外データセットでのスペキュラーやシャドウ効果を持つ写実的なリライティングが可能になる。また、物理ベースのシーン操作をサポートし、トレースされたシャドウ投影を使用した仮想オブジェクトの挿入が可能になる。

要約(オリジナル)

Reconstruction and intrinsic decomposition of scenes from captured imagery would enable many applications such as relighting and virtual object insertion. Recent NeRF based methods achieve impressive fidelity of 3D reconstruction, but bake the lighting and shadows into the radiance field, while mesh-based methods that facilitate intrinsic decomposition through differentiable rendering have not yet scaled to the complexity and scale of outdoor scenes. We present a novel inverse rendering framework for large urban scenes capable of jointly reconstructing the scene geometry, spatially-varying materials, and HDR lighting from a set of posed RGB images with optional depth. Specifically, we use a neural field to account for the primary rays, and use an explicit mesh (reconstructed from the underlying neural field) for modeling secondary rays that produce higher-order lighting effects such as cast shadows. By faithfully disentangling complex geometry and materials from lighting effects, our method enables photorealistic relighting with specular and shadow effects on several outdoor datasets. Moreover, it supports physics-based scene manipulations such as virtual object insertion with ray-traced shadow casting.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI