Normal-guided Detail-Preserving Neural Implicit Function for High-Fidelity 3D Surface Reconstruction

要約

神経暗黙の表現は、3D再建の強力なパラダイムとして浮上しています。
ただし、その成功にもかかわらず、既存の方法は、特に目的のオブジェクトのまばらなマルチビューRGB画像のみが利用可能なシナリオで、細かい幾何学的な詳細や薄い構造をキャプチャできません。
このホワイトペーパーでは、1次差特性（表面正規）を使用した神経表現のトレーニングは、2つのRGB画像がわずかにある場合でも、非常に正確な3D表面再構成につながることを示しています。
入力RGB画像を使用して、既製のモノクラー深度推定器によって生成された深度マップからの近似地下面の表面正規項を計算します。
トレーニング中に、SDFネットワークの表面点を直接見つけ、深度マップから推定されたものを使用して通常の監督を行います。
広範な実験は、私たちの方法が最小限の数のビューで最先端の再構成の精度を達成し、以前にキャプチャするのが困難だった複雑な幾何学的な詳細と薄い構造をキャプチャすることを示しています。

要約(オリジナル)

Neural implicit representations have emerged as a powerful paradigm for 3D reconstruction. However, despite their success, existing methods fail to capture fine geometric details and thin structures, especially in scenarios where only sparse multi-view RGB images of the objects of interest are available. This paper shows that training neural representations with first-order differential properties (surface normals) leads to highly accurate 3D surface reconstruction, even with as few as two RGB images. Using input RGB images, we compute approximate ground-truth surface normals from depth maps produced by an off-the-shelf monocular depth estimator. During training, we directly locate the surface point of the SDF network and supervise its normal with the one estimated from the depth map. Extensive experiments demonstrate that our method achieves state-of-the-art reconstruction accuracy with a minimal number of views, capturing intricate geometric details and thin structures that were previously challenging to capture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google