NeAT: Learning Neural Implicit Surfaces with Arbitrary Topologies from Multi-view Images

要約

ニューラル暗黙関数の最近の進歩により、画像のコレクションから忠実度の高い 3D 形状を再構築する新しい最先端技術が確立されました。
ただし、これらのアプローチは、サーフェスを符号付き距離フィールドで表す必要があるため、閉じたサーフェスに限定されます。
この論文では、マルチビュー画像から任意のトポロジーを持つ暗黙的なサーフェスを学習できる新しいニューラル レンダリング フレームワークである NeAT を提案します。
特に、NeAT は、3D サーフェスを、クエリ位置でのサーフェスの存在確率を推定するための妥当性分岐を持つ符号付き距離関数 (SDF) のレベル セットとして表します。
また、SDF と妥当性を使用してボリュームの不透明度を計算し、妥当性の低いレンダリング ポイントを回避する、新しいニューラル ボリューム レンダリング法も開発します。
NeAT は、従来のマーチング キューブ アルゴリズムを使用して、フィールドからメッシュへの簡単な変換をサポートしています。
DTU、MGN、および Deep Fashion 3D データセットに関する広範な実験は、私たちのアプローチが防水表面と非防水表面の両方を忠実に再構築できることを示しています。
特に、NeAT は、量的にも質的にも、オープン サーフェス再構築のタスクにおいて最先端の方法よりも大幅に優れています。

要約(オリジナル)

Recent progress in neural implicit functions has set new state-of-the-art in reconstructing high-fidelity 3D shapes from a collection of images. However, these approaches are limited to closed surfaces as they require the surface to be represented by a signed distance field. In this paper, we propose NeAT, a new neural rendering framework that can learn implicit surfaces with arbitrary topologies from multi-view images. In particular, NeAT represents the 3D surface as a level set of a signed distance function (SDF) with a validity branch for estimating the surface existence probability at the query positions. We also develop a novel neural volume rendering method, which uses SDF and validity to calculate the volume opacity and avoids rendering points with low validity. NeAT supports easy field-to-mesh conversion using the classic Marching Cubes algorithm. Extensive experiments on DTU, MGN, and Deep Fashion 3D datasets indicate that our approach is able to faithfully reconstruct both watertight and non-watertight surfaces. In particular, NeAT significantly outperforms the state-of-the-art methods in the task of open surface reconstruction both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google