SPIDR: SDF-based Neural Point Fields for Illumination and Deformation

要約

ニューラル ラジアンス フィールド (NeRFs) は、3D 再構成と新しいビュー合成のための有望なアプローチとして最近登場しました。
ただし、NeRF ベースの方法は、形状、反射率、および照明を暗黙的にエンコードするため、ユーザーがレンダリングされた画像でこれらのプロパティを明示的に操作することは困難です。
既存のアプローチでは、限られたシーンの編集とジオメトリの変形しかできません。
さらに、オブジェクトの変形後に正確なシーン照明を可能にする既存の作業はありません。
この作業では、新しいハイブリッド ニューラル SDF 表現である SPIDR を紹介します。
SPIDR は、点群とニューラルの暗黙的な表現を組み合わせて、ジオメトリの変形と照明の推定のための高品質のオブジェクト サーフェスの再構築を可能にします。
オブジェクトの変形とライティングの推定のためのメッシュとサーフェス。
シーンの再照明のために環境照明をより正確にキャプチャするために、環境光を学習するための新しいニューラル暗黙モデルを提案します。
変形後のイルミネーションの更新をより正確にするために、シャドウ マッピング手法を使用して、ジオメトリの編集によって生じるライトの可視性の更新を近似します。
シーンの照明をより正確に更新して、高品質のジオメトリ編集を可能にする SPIDR の有効性を実証します。

要約(オリジナル)

Neural radiance fields (NeRFs) have recently emerged as a promising approach for 3D reconstruction and novel view synthesis. However, NeRF-based methods encode shape, reflectance, and illumination implicitly and this makes it challenging for users to manipulate these properties in the rendered images explicitly. Existing approaches only enable limited editing of the scene and deformation of the geometry. Furthermore, no existing work enables accurate scene illumination after object deformation. In this work, we introduce SPIDR, a new hybrid neural SDF representation. SPIDR combines point cloud and neural implicit representations to enable the reconstruction of higher quality object surfaces for geometry deformation and lighting estimation. meshes and surfaces for object deformation and lighting estimation. To more accurately capture environment illumination for scene relighting, we propose a novel neural implicit model to learn environment light. To enable more accurate illumination updates after deformation, we use the shadow mapping technique to approximate the light visibility updates caused by geometry editing. We demonstrate the effectiveness of SPIDR in enabling high quality geometry editing with more accurate updates to the illumination of the scene.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google