NeUDF: Leaning Neural Unsigned Distance Fields with Volume Rendering

要約

タイトル：NeUDF：体積レンダリングを用いたニューラル符号なし距離場の学習

要約：
– ニューラル暗黙の表面レンダリング技術の最新の進歩により、多視点形状再構築は着実な進歩を遂げました。
– しかし、符号付き距離関数（SDF）に基づく既存の方法は、閉じた表面に限定されており、開かれた表面構造が含まれる広範な現実世界のオブジェクトを再構築することができません。
– 本論文では、多視点監視のみで任意のトポロジを持つ表面を再構築できるNeUDFという新しいニューラルレンダリングフレームワークを紹介します。
– NeUDFでは、任意の表面を表す柔軟性を得るために符号なし距離関数（UDF）を表面表現として利用します。
– 符号付き距離関数（SDF）ベースのニューラルレンダラーの単純な拡張はUDFにスケーリングできないため、UDFベースの体積レンダリングに特別に設計された重み関数の2つの新しい定式化を提案します。
– また、in/outテストがもはや有効ではない開いた表面レンダリングに対処するために、表面の向きの曖昧さを解決するための専用の正規化戦略を提案します。
– DTU、MGN、Deep Fashion 3Dなどの多数の困難なデータセットでの徹底的な評価を行いました。実験結果は、特に開いた境界を持つ複雑な形状に対して、NeUDFが多視点表面再構築のタスクで最先端の方法を大幅に上回ることを示しています。

要約(オリジナル)

Multi-view shape reconstruction has achieved impressive progresses thanks to the latest advances in neural implicit surface rendering. However, existing methods based on signed distance function (SDF) are limited to closed surfaces, failing to reconstruct a wide range of real-world objects that contain open-surface structures. In this work, we introduce a new neural rendering framework, coded NeUDF, that can reconstruct surfaces with arbitrary topologies solely from multi-view supervision. To gain the flexibility of representing arbitrary surfaces, NeUDF leverages the unsigned distance function (UDF) as surface representation. While a naive extension of an SDF-based neural renderer cannot scale to UDF, we propose two new formulations of weight function specially tailored for UDF-based volume rendering. Furthermore, to cope with open surface rendering, where the in/out test is no longer valid, we present a dedicated normal regularization strategy to resolve the surface orientation ambiguity. We extensively evaluate our method over a number of challenging datasets, including DTU}, MGN, and Deep Fashion 3D. Experimental results demonstrate that nEudf can significantly outperform the state-of-the-art method in the task of multi-view surface reconstruction, especially for complex shapes with open boundaries.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI