PS-NeRF: Neural Inverse Rendering for Multi-view Photometric Stereo

要約

従来のマルチビュー フォトメトリック ステレオ (MVPS) メソッドは、多くの場合、複数のバラバラな段階で構成されているため、顕著な累積エラーが発生します。
この論文では、暗黙的表現に基づく MVPS のニューラル逆レンダリング法を提示します。
複数の未知の指向性ライトによって照らされた非ランバート オブジェクトのマルチビュー イメージが与えられた場合、この方法は、ジオメトリ、マテリアル、およびライトを共同で推定します。
私たちの方法は、最初にマルチライト画像を使用して、ビューごとの表面法線マップを推定します。これは、ニューラル放射輝度場から導出された法線を正則化するために使用されます。
次に、サーフェス法線、空間的に変化する BRDF、および影を認識した微分可能なレンダリング レイヤーに基づくライトを共同で最適化します。
最適化後、再構築されたオブジェクトは、ノベル ビュー レンダリング、再ライティング、およびマテリアル編集に使用できます。
合成データセットと実際のデータセットの両方での実験は、私たちの方法が既存の MVPS およびニューラル レンダリング方法よりもはるかに正確な形状再構成を達成することを示しています。
コードとモデルは https://ywq.github.io/psnerf にあります。

要約(オリジナル)

Traditional multi-view photometric stereo (MVPS) methods are often composed of multiple disjoint stages, resulting in noticeable accumulated errors. In this paper, we present a neural inverse rendering method for MVPS based on implicit representation. Given multi-view images of a non-Lambertian object illuminated by multiple unknown directional lights, our method jointly estimates the geometry, materials, and lights. Our method first employs multi-light images to estimate per-view surface normal maps, which are used to regularize the normals derived from the neural radiance field. It then jointly optimizes the surface normals, spatially-varying BRDFs, and lights based on a shadow-aware differentiable rendering layer. After optimization, the reconstructed object can be used for novel-view rendering, relighting, and material editing. Experiments on both synthetic and real datasets demonstrate that our method achieves far more accurate shape reconstruction than existing MVPS and neural rendering methods. Our code and model can be found at https://ywq.github.io/psnerf.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google