NeuManifold: Neural Watertight Manifold Reconstruction with Efficient and High-Quality Rendering Support

要約

多視点入力画像から高品質の防水多様体メッシュを生成する方法を提案します。
既存のボリューム レンダリング手法は、最適化においては堅牢ですが、トポロジが不十分でノイズの多いメッシュを生成する傾向があります。
微分可能なラスター化ベースの方法は高品質のメッシュを生成できますが、初期化の影響を受けやすいです。
私たちの方法は両方の利点を組み合わせています。
ニューラルボリュームフィールドから取得したジオメトリの初期化を取得し、微分可能なラスタライザーを使用してジオメトリとコンパクトなニューラルテクスチャ表現をさらに最適化します。
広範な実験を通じて、私たちの方法が以前のボリューム レンダリング方法に匹敵する、忠実な外観を持つ正確なメッシュ再構成を生成できると同時に、レンダリングが桁違いに高速であることを実証しました。
また、生成されたメッシュとニューラル テクスチャの再構成が既存のグラフィックス パイプラインと互換性があり、シミュレーションなどの下流の 3D アプリケーションが可能になることも示します。
プロジェクトページ：https://sarahweiii.github.io/neumanifold/

要約(オリジナル)

We present a method for generating high-quality watertight manifold meshes from multi-view input images. Existing volumetric rendering methods are robust in optimization but tend to generate noisy meshes with poor topology. Differentiable rasterization-based methods can generate high-quality meshes but are sensitive to initialization. Our method combines the benefits of both worlds; we take the geometry initialization obtained from neural volumetric fields, and further optimize the geometry as well as a compact neural texture representation with differentiable rasterizers. Through extensive experiments, we demonstrate that our method can generate accurate mesh reconstructions with faithful appearance that are comparable to previous volume rendering methods while being an order of magnitude faster in rendering. We also show that our generated mesh and neural texture reconstruction is compatible with existing graphics pipelines and enables downstream 3D applications such as simulation. Project page: https://sarahweiii.github.io/neumanifold/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google