Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement

要約

Neural Radiance Fields (NeRF)は、画像に基づく3D再構築において目覚ましいブレークスルーを成し遂げている。しかし、その暗黙の体積表現は、広く採用されているポリゴンメッシュとは大きく異なり、一般的な3Dソフトウェアやハードウェアのサポートがないため、そのレンダリングや操作は非効率的である。この制限を克服するために、我々は画像からテクスチャ付き表面メッシュを生成する新しいフレームワークを提案する。本アプローチでは、まず、NeRFを用いて、ジオメトリとビュー依存性の分解された外観を効率的に初期化する。その後、粗いメッシュを抽出し、再投影されたレンダリングエラーに基づいて頂点位置と面密度の両方を適応的に調整する反復的な表面精製アルゴリズムを開発する。我々は、ジオメトリと共同で外観を洗練し、リアルタイムレンダリングのためにテクスチャ画像に焼き付ける。広範な実験により、本手法が優れたメッシュ品質と競争力のあるレンダリング品質を達成することが実証された。

要約(オリジナル)

Neural Radiance Fields (NeRF) have constituted a remarkable breakthrough in image-based 3D reconstruction. However, their implicit volumetric representations differ significantly from the widely-adopted polygonal meshes and lack support from common 3D software and hardware, making their rendering and manipulation inefficient. To overcome this limitation, we present a novel framework that generates textured surface meshes from images. Our approach begins by efficiently initializing the geometry and view-dependency decomposed appearance with a NeRF. Subsequently, a coarse mesh is extracted, and an iterative surface refining algorithm is developed to adaptively adjust both vertex positions and face density based on re-projected rendering errors. We jointly refine the appearance with geometry and bake it into texture images for real-time rendering. Extensive experiments demonstrate that our method achieves superior mesh quality and competitive rendering quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL