NPLMV-PS: Neural Point-Light Multi-View Photometric Stereo

要約

この研究では、新しいマルチビューフォトメトリックステレオ (MVPS) 方法を紹介します。
3D 再構成の多くの作業と同様に、私たちはニューラル形状表現と学習されたレンダラーを活用しています。
ただし、私たちの研究は、主に推定された法線に依存するのではなく、ピクセルごとの強度レンダリングを明示的に活用するという点で、PS-NeRF や Supernormal などの最先端のマルチビュー PS 手法とは異なります。
各点の入射放射輝度を最もよく近似するために、点光の減衰をモデル化し、影を明示的にレイトレースします。
推定された入射放射輝度は、最小限の事前仮定を使用する完全ニューラル マテリアル レンダラーへの入力として使用され、サーフェスと共同で最適化されます。
表面精度を最大化するために、推定された法線とセグメンテーション マップも組み込まれています。
私たちの手法は、（スーパーノーマルと並んで）DiLiGenT-MV ベンチマークによって提案された古典的な MVPS アプローチよりも優れた最初の手法の 1 つであり、約 400×400 の解像度で約 1.5m 離れた距離で撮像されたオブジェクトの平均 0.2mm の面取り距離を達成します。
さらに、私たちの方法は、SOTA競合他社（0.38mm対0.61mm）を大幅に上回るスパースMVPS設定（6ビュー、6ライト）に対する高い堅牢性を示し、マルチビューフォトメトリックステレオにおけるニューラルレンダリングの重要性を示しています。

要約(オリジナル)

In this work we present a novel multi-view photometric stereo (MVPS) method. Like many works in 3D reconstruction we are leveraging neural shape representations and learnt renderers. However, our work differs from the state-of-the-art multi-view PS methods such as PS-NeRF or Supernormal in that we explicitly leverage per-pixel intensity renderings rather than relying mainly on estimated normals. We model point light attenuation and explicitly raytrace cast shadows in order to best approximate the incoming radiance for each point. The estimated incoming radiance is used as input to a fully neural material renderer that uses minimal prior assumptions and it is jointly optimised with the surface. Estimated normals and segmentation maps are also incorporated in order to maximise the surface accuracy. Our method is among the first (along with Supernormal) to outperform the classical MVPS approach proposed by the DiLiGenT-MV benchmark and achieves average 0.2mm Chamfer distance for objects imaged at approx 1.5m distance away with approximate 400×400 resolution. Moreover, our method shows high robustness to the sparse MVPS setup (6 views, 6 lights) greatly outperforming the SOTA competitor (0.38mm vs 0.61mm), illustrating the importance of neural rendering in multi-view photometric stereo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google