Factored-NeuS: Reconstructing Surfaces, Illumination, and Materials of Possibly Glossy Objects

要約

ポーズされたマルチビュー画像からシーンの表面、材料、照明を回復する方法を開発します。
以前の作業とは対照的に、追加のデータは必要ありません。光沢のあるオブジェクトや明るい照明を処理できます。
これは、3つの段階で構成される進歩的な逆レンダリングアプローチです。
最初の段階では、シーンの輝きと署名距離関数（SDF）を再構築し、鏡面反射のための新しい正規化戦略を使用します。
表面と体積の両方のレンダリングを共同で使用して、ピクセルの色を説明することを提案します。これにより、表面再構成のための複雑なビュー依存照明効果を処理できます。
第2段階では、学習可能なマッピング関数を使用して、学習したSDFおよびRadianceフィールドからの光の可視性と間接照明を蒸留します。
最後に、鏡面的な方法で反射される着信直接光の比を推定し、それを使用して材料を再構築し、直接照明を設計します。
実験結果は、提案された方法が、追加のデータに依存することなく、表面、材料、照明の回復において現在の最先端を上回ることを示しています。

要約(オリジナル)

We develop a method that recovers the surface, materials, and illumination of a scene from its posed multi-view images. In contrast to prior work, it does not require any additional data and can handle glossy objects or bright lighting. It is a progressive inverse rendering approach, which consists of three stages. In the first stage, we reconstruct the scene radiance and signed distance function (SDF) with a novel regularization strategy for specular reflections. We propose to explain a pixel color using both surface and volume rendering jointly, which allows for handling complex view-dependent lighting effects for surface reconstruction. In the second stage, we distill light visibility and indirect illumination from the learned SDF and radiance field using learnable mapping functions. Finally, we design a method for estimating the ratio of incoming direct light reflected in a specular manner and use it to reconstruct the materials and direct illumination. Experimental results demonstrate that the proposed method outperforms the current state-of-the-art in recovering surfaces, materials, and lighting without relying on any additional data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google