NeuralUDF: Learning Unsigned Distance Fields for Multi-view Reconstruction of Surfaces with Arbitrary Topologies

要約

ボリューム レンダリングを介して 2D 画像から任意のトポロジを使用してサーフェスを再構築するための、NeuralUDF と呼ばれる新しい方法を紹介します。
ニューラル レンダリング ベースの再構成における最近の進歩は、説得力のある結果を達成しています。
ただし、これらの方法は、対象形状を内側と外側に分割する必要がある曲面表現として Signed Distance Function (SDF) を採用しているため、閉曲面を持つオブジェクトに限定されます。
この論文では、サーフェスを符号なし距離関数 (UDF) として表現し、ニューラル UDF 表現を学習するための新しいボリューム レンダリング スキームを開発することを提案します。
具体的には、UDF フィールドのロバストな最適化のために、UDF のプロパティをボリューム レンダリング スキームと関連付ける新しい密度関数が導入されています。
DTU および DeepFashion3D データセットでの実験では、私たちの方法が、複雑な類型を持つ非閉じた形状の高品質な再構築を可能にするだけでなく、閉じた表面の再構築において SDF ベースの方法に匹敵するパフォーマンスを達成することも示されています。

要約(オリジナル)

We present a novel method, called NeuralUDF, for reconstructing surfaces with arbitrary topologies from 2D images via volume rendering. Recent advances in neural rendering based reconstruction have achieved compelling results. However, these methods are limited to objects with closed surfaces since they adopt Signed Distance Function (SDF) as surface representation which requires the target shape to be divided into inside and outside. In this paper, we propose to represent surfaces as the Unsigned Distance Function (UDF) and develop a new volume rendering scheme to learn the neural UDF representation. Specifically, a new density function that correlates the property of UDF with the volume rendering scheme is introduced for robust optimization of the UDF fields. Experiments on the DTU and DeepFashion3D datasets show that our method not only enables high-quality reconstruction of non-closed shapes with complex typologies, but also achieves comparable performance to the SDF based methods on the reconstruction of closed surfaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google