Relighting Neural Radiance Fields with Shadow and Highlight Hints

要約

この論文は、視点位置とは異なる移動点光源によって照明された物体の非構造化写真の小さなセットから自由視点再照明のための新しい神経暗黙的放射輝度表現を提示します。
多層パーセプトロンによってモデル化された符号付き距離関数として形状を表現します。
以前の再ライト可能な暗黙的なニューラル表現とは対照的に、さまざまな反射率コンポーネントを解きほぐすのではなく、密度特徴、現在位置、法線に加えて、第 2 の多層パーセプトロンによって各点でのローカル反射率とグローバル反射率の両方をモデル化します。
(符号付き距離関数から)、ビューの方向、および光の位置も、シャドウとハイライトのヒントを取得して、ネットワークが対応する高周波光輸送効果をモデル化するのに役立ちます。
これらのヒントは提案として提供されており、これらを最終的な再点灯結果に組み込む方法の決定はネットワークに委ねられます。
私たちは、さまざまな形状、材料特性、およびグローバル イルミネーションの光輸送を示す合成シーンと実際のシーン上で、ニューラル暗黙的表現を実証および検証します。

要約(オリジナル)

This paper presents a novel neural implicit radiance representation for free viewpoint relighting from a small set of unstructured photographs of an object lit by a moving point light source different from the view position. We express the shape as a signed distance function modeled by a multi layer perceptron. In contrast to prior relightable implicit neural representations, we do not disentangle the different reflectance components, but model both the local and global reflectance at each point by a second multi layer perceptron that, in addition, to density features, the current position, the normal (from the signed distace function), view direction, and light position, also takes shadow and highlight hints to aid the network in modeling the corresponding high frequency light transport effects. These hints are provided as a suggestion, and we leave it up to the network to decide how to incorporate these in the final relit result. We demonstrate and validate our neural implicit representation on synthetic and real scenes exhibiting a wide variety of shapes, material properties, and global illumination light transport.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google