RISE-SDF: a Relightable Information-Shared Signed Distance Field for Glossy Object Inverse Rendering

要約

この論文では、形状と材料特性の高品質な再構築を実現し、高品質の再照明を可能にする、新しいエンドツーエンドの再照明可能なニューラル インバース レンダリング システムを提案します。
私たちの方法の基礎は、シーン パラメーターのより適切な因数分解を学習するための 2 段階のアプローチです。
最初の段階では、ジオメトリ表現として神経符号付き距離フィールド (SDF) を使用して反射を意識した放射輝度フィールドを開発し、間接照明を推定するために MLP (多層パーセプトロン) を展開します。
第 2 段階では、シーンの放射フィールドと物理ベースの因数分解を共同で学習するための新しい情報共有ネットワーク構造を導入します。
物理ベースの因数分解では、モンテカルロ サンプリングによって生じるノイズを低減するために、簡略化された Disney BRDF とキューブ ミップマップを環境光の表現として使用した分割和近似を適用します。
再照明フェーズでは、間接照明の品質を向上させるために、スプリットサム レンダリング フレームワークの下で二次光線を追跡するための 2 番目のスプリットサム アルゴリズムを提案します。
さらに、光沢のあるオブジェクトの逆レンダリング パフォーマンスを定量的に評価するために利用できるデータセットやプロトコルはありません。
マテリアルの再構築と再ライティングの品質を評価するために、グラウンド トゥルースの BRDF パラメーターと再ライティングの結果を含む新しいデータセットを作成しました。
私たちの実験では、私たちのアルゴリズムが逆レンダリングと再ライティングにおいて最先端のパフォーマンスを達成し、特に反射率の高いオブジェクトの再構築において優れた結果が得られることが実証されました。

要約(オリジナル)

In this paper, we propose a novel end-to-end relightable neural inverse rendering system that achieves high-quality reconstruction of geometry and material properties, thus enabling high-quality relighting. The cornerstone of our method is a two-stage approach for learning a better factorization of scene parameters. In the first stage, we develop a reflection-aware radiance field using a neural signed distance field (SDF) as the geometry representation and deploy an MLP (multilayer perceptron) to estimate indirect illumination. In the second stage, we introduce a novel information-sharing network structure to jointly learn the radiance field and the physically based factorization of the scene. For the physically based factorization, to reduce the noise caused by Monte Carlo sampling, we apply a split-sum approximation with a simplified Disney BRDF and cube mipmap as the environment light representation. In the relighting phase, to enhance the quality of indirect illumination, we propose a second split-sum algorithm to trace secondary rays under the split-sum rendering framework. Furthermore, there is no dataset or protocol available to quantitatively evaluate the inverse rendering performance for glossy objects. To assess the quality of material reconstruction and relighting, we have created a new dataset with ground truth BRDF parameters and relighting results. Our experiments demonstrate that our algorithm achieves state-of-the-art performance in inverse rendering and relighting, with particularly strong results in the reconstruction of highly reflective objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google