NPLMV-PS: Neural Point-Light Multi-View Photometric Stereo

要約

この研究では、新しい多視点フォトメトリック ステレオ (PS) 方法を紹介します。
3D 再構成の多くの作業と同様に、私たちはニューラル形状表現と学習されたレンダラーを活用しています。
ただし、私たちの仕事は、PS-NeRF や SuperNormal などの最先端のマルチビュー PS 手法とは異なり、主に推定された法線に依存するのではなく、ピクセルごとの強度レンダリングを明示的に活用します。
各点の入射放射輝度を最もよく近似するために、点光の減衰をモデル化し、影を明示的にレイトレースします。
これは、最小限の事前仮定を使用する完全なニューラル マテリアル レンダラーへの入力として使用され、サーフェスと共同で最適化されます。
最後に、表面の精度を最大化するために、推定された法線マップとセグメンテーション マップを組み込むこともできます。
私たちの方法は、DiLiGenT-MV の古典的なアプローチを上回る性能を備えた最初の手法の 1 つであり、約 400×400 の解像度で約 1.5m 離れた距離にある画像化された対象物に対して平均 0.2mm の面取り距離を達成します。
さらに、光量が少ないシナリオで貧弱な法線に対する堅牢性を示し、推定法線の代わりにピクセル レンダリングを使用した場合に 0.27 mm の面取り距離を達成しました。

要約(オリジナル)

In this work we present a novel multi-view photometric stereo (PS) method. Like many works in 3D reconstruction we are leveraging neural shape representations and learnt renderers. However, our work differs from the state-of-the-art multi-view PS methods such as PS-NeRF or SuperNormal we explicity leverage per-pixel intensity renderings rather than relying mainly on estimated normals. We model point light attenuation and explicitly raytrace cast shadows in order to best approximate each points incoming radiance. This is used as input to a fully neural material renderer that uses minimal prior assumptions and it is jointly optimised with the surface. Finally, estimated normal and segmentation maps can also incorporated in order to maximise the surface accuracy. Our method is among the first to outperform the classical approach of DiLiGenT-MV and achieves average 0.2mm Chamfer distance for objects imaged at approx 1.5m distance away with approximate 400×400 resolution. Moreover, we show robustness to poor normals in low light count scenario, achieving 0.27mm Chamfer distance when pixel rendering is used instead of estimated normals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google