UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections

要約

ニューラル 3D シーン表現は、2D 画像からの 3D 再構成に大きな可能性を示しています。
ただし、複雑なシーンの現実世界のキャプチャを再構築することは依然として課題です。
既存の一般的な 3D 再構成手法は、多くの場合、微細な幾何学的詳細を表現するのに苦労しており、大規模なシーンの反射面を適切にモデル化できません。
反射面に明示的に焦点を当てた手法では、より適切な反射パラメータ化を活用することで、複雑で詳細な反射をモデル化できます。
ただし、これらの方法は、反射コンポーネントだけでなく非反射コンポーネントも存在する実際の無制限のシナリオでは、多くの場合堅牢ではないことが観察されています。
この研究では、反射を伴う大規模で複雑なシーンを再構成できる汎用 3D 再構成手法である UniSDF を提案します。
私たちは、ビューベースと反射ベースの両方の色予測パラメータ化手法を調査し、これらの表現を 3D 空間で明示的にブレンドすることで、特に反射面の場合、より幾何学的に正確な表面の再構築が可能になることを発見しました。
さらに、この表現を、粗い方法から細かい方法でトレーニングされた多重解像度のグリッド バックボーンと組み合わせて、従来の方法よりも高速な再構成を可能にします。
オブジェクトレベルのデータセット DTU、Shiny Blender、および無制限のデータセット Mip-NeRF 360 および Ref-NeRF real に対する広範な実験により、私たちの方法が微細なディテールと反射面を備えた複雑な大規模シーンを堅牢に再構築できることが実証されました。
https://fangjinhuawang.github.io/UniSDF のプロジェクト ページをご覧ください。

要約(オリジナル)

Neural 3D scene representations have shown great potential for 3D reconstruction from 2D images. However, reconstructing real-world captures of complex scenes still remains a challenge. Existing generic 3D reconstruction methods often struggle to represent fine geometric details and do not adequately model reflective surfaces of large-scale scenes. Techniques that explicitly focus on reflective surfaces can model complex and detailed reflections by exploiting better reflection parameterizations. However, we observe that these methods are often not robust in real unbounded scenarios where non-reflective as well as reflective components are present. In this work, we propose UniSDF, a general purpose 3D reconstruction method that can reconstruct large complex scenes with reflections. We investigate both view-based as well as reflection-based color prediction parameterization techniques and find that explicitly blending these representations in 3D space enables reconstruction of surfaces that are more geometrically accurate, especially for reflective surfaces. We further combine this representation with a multi-resolution grid backbone that is trained in a coarse-to-fine manner, enabling faster reconstructions than prior methods. Extensive experiments on object-level datasets DTU, Shiny Blender as well as unbounded datasets Mip-NeRF 360 and Ref-NeRF real demonstrate that our method is able to robustly reconstruct complex large-scale scenes with fine details and reflective surfaces. Please see our project page at https://fangjinhuawang.github.io/UniSDF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google