NeuS-PIR: Learning Relightable Neural Surface using Pre-Integrated Rendering

要約

ニューラル暗黙的フィールドの最近の進歩により、多視点画像から 3D ジオメトリを迅速に再構築できるようになりました。
さらに、材料や照明などの物理的特性を回復することは、より多くのアプリケーションを可能にするために不可欠です。
この論文では、事前統合レンダリングを使用して再照明可能なニューラル サーフェスを効果的に学習する新しい方法を紹介します。これは、ニューラルの暗黙的フィールド内のジオメトリ、マテリアル、および照明を同時に学習します。
私たちの研究から得られた重要な洞察は、これらのプロパティは互いに密接に関連しており、協力して最適化することで一貫した改善につながるということです。
具体的には、放射輝度場を空間的に変化する物質場と微分可能な環境キューブマップに因数分解し、神経面で表現される幾何学と共同学習する手法であるNeuS-PIRを提案する。
私たちの実験は、提案された方法が合成データセットと実際のデータセットの両方で最先端の方法よりも優れていることを示しています。

要約(オリジナル)

Recent advances in neural implicit fields enables rapidly reconstructing 3D geometry from multi-view images. Beyond that, recovering physical properties such as material and illumination is essential for enabling more applications. This paper presents a new method that effectively learns relightable neural surface using pre-intergrated rendering, which simultaneously learns geometry, material and illumination within the neural implicit field. The key insight of our work is that these properties are closely related to each other, and optimizing them in a collaborative manner would lead to consistent improvements. Specifically, we propose NeuS-PIR, a method that factorizes the radiance field into a spatially varying material field and a differentiable environment cubemap, and jointly learns it with geometry represented by neural surface. Our experiments demonstrate that the proposed method outperforms the state-of-the-art method in both synthetic and real datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google