SPIDR: SDF-based Neural Point Fields for Illumination and Deformation

要約

【タイトル】SPIDR：照明と変形のためのSDFベースのニューラルポイントフィールド

【要約】
– NeRF（Neural Radiance Fields）は、3D再構成と新しい視点合成に向けた有望な手法として最近注目を浴びている。
– しかしながら、NeRFベースの方法は形状、反射率、照明を暗黙的に符号化するため、レンダリングされたイメージのこれらの特性を明示的に操作することは困難である。
– 既存の手法は、シーンの限定的な編集およびジオメトリの変形しか可能ではなく、また、オブジェクトの変形後の正確なシーン照明を可能にする手法が存在しない。
– この研究では、新しいハイブリッドニューラルSDF表現であるSPIDRを紹介している。
– SPIDRはポイントクラウドとニューラル暗黙的表現を組み合わせて、より高品質なオブジェクト表面を再構築することができ、ジオメトリの変形と照明推定のためのメッシュとサーフェスを可能にする。
– シーンのリライティングのために環境照明を学習するための新しいニューラル暗黙的モデルを提案している。
– ジオメトリ編集による光視認性の更新を近似するために、シャドウマッピング技術を使用して、変形後のより正確な照明更新を可能にする。
– SPIDRの効果を示し、シーンの照明のより正確な更新とともに高品質なジオメトリ編集を可能にしている。

要約(オリジナル)

Neural radiance fields (NeRFs) have recently emerged as a promising approach for 3D reconstruction and novel view synthesis. However, NeRF-based methods encode shape, reflectance, and illumination implicitly and this makes it challenging for users to manipulate these properties in the rendered images explicitly. Existing approaches only enable limited editing of the scene and deformation of the geometry. Furthermore, no existing work enables accurate scene illumination after object deformation. In this work, we introduce SPIDR, a new hybrid neural SDF representation. SPIDR combines point cloud and neural implicit representations to enable the reconstruction of higher quality object surfaces for geometry deformation and lighting estimation. meshes and surfaces for object deformation and lighting estimation. To more accurately capture environment illumination for scene relighting, we propose a novel neural implicit model to learn environment light. To enable more accurate illumination updates after deformation, we use the shadow mapping technique to approximate the light visibility updates caused by geometry editing. We demonstrate the effectiveness of SPIDR in enabling high quality geometry editing with more accurate updates to the illumination of the scene.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI