NeRFMeshing: Distilling Neural Radiance Fields into Geometrically-Accurate 3D Meshes

要約

Neural Radiance Fields (NeRF) の導入により、新しいビュー合成は最近大きな飛躍を遂げました。
中核として、NeRF は各 3D ポイントが放射輝度を発することができることを提案し、微分可能なボリューム レンダリングを使用してビュー合成を実行できるようにします。
ニューラル放射輝度フィールドは、画像レンダリングを計算するための 3D シーンを正確に表すことができますが、3D メッシュは依然としてほとんどのコンピューター グラフィックスおよびシミュレーション パイプラインでサポートされている主要なシーン表現であり、リアルタイム レンダリングや物理ベースのシミュレーションなどのタスクを可能にします。
NeRF はビュー合成用に最適化されており、放射輝度フィールドに正確な基本ジオメトリを適用しないため、ニューラル放射輝度フィールドから 3D メッシュを取得することは依然として未解決の課題です。
したがって、NeRF 主導のアプローチから簡単に 3D 表面再構成を可能にする、コンパクトで柔軟な新しいアーキテクチャを提案します。
放射輝度フィールドをトレーニングしたら、ボリューム 3D 表現を Signed Surface Proximation Network に抽出し、3D メッシュと外観を簡単に抽出できるようにします。
最終的な 3D メッシュは物理的に正確で、さまざまなデバイスでリアルタイムにレンダリングできます。

要約(オリジナル)

With the introduction of Neural Radiance Fields (NeRFs), novel view synthesis has recently made a big leap forward. At the core, NeRF proposes that each 3D point can emit radiance, allowing to conduct view synthesis using differentiable volumetric rendering. While neural radiance fields can accurately represent 3D scenes for computing the image rendering, 3D meshes are still the main scene representation supported by most computer graphics and simulation pipelines, enabling tasks such as real time rendering and physics-based simulations. Obtaining 3D meshes from neural radiance fields still remains an open challenge since NeRFs are optimized for view synthesis, not enforcing an accurate underlying geometry on the radiance field. We thus propose a novel compact and flexible architecture that enables easy 3D surface reconstruction from any NeRF-driven approach. Upon having trained the radiance field, we distill the volumetric 3D representation into a Signed Surface Approximation Network, allowing easy extraction of the 3D mesh and appearance. Our final 3D mesh is physically accurate and can be rendered in real time on an array of devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google