Voxurf: Voxel-based Efficient and Accurate Neural Surface Reconstruction

要約

神経表面再構成は、多視点画像に基づいて正確な 3D 表面を再構成することを目的としています。
ニューラル ボリューム レンダリングに基づく以前の方法では、ほとんどが完全に暗黙的なモデルをトレーニングしており、1 つのシーンに何時間ものトレーニングが必要です。
最近の取り組みでは、学習可能なボクセル グリッドに重要な情報を記憶することにより、最適化プロセスを大幅に加速する明示的なボリューム表現を調査しています。
ただし、これらのボクセルベースの方法は、きめの細かいジオメトリの再構築に苦労することがよくあります。
経験的研究を通じて、高品質の表面再構成は、一貫した形状を構築する能力と色幾何学依存性の正確なモデリングという 2 つの重要な要因にかかっていることがわかりました。
特に後者は、細部を正確に再現するための鍵となります。
これらの調査結果に着想を得て、効率的かつ正確な神経表面再構築のためのボクセルベースのアプローチである Voxurf を開発しました。これは、1) 学習可能な特徴グリッドを活用してカラー フィールドを構築し、コヒーレントな粗い形状を取得する、および 2)
正確なカラー ジオメトリの依存関係をキャプチャするデュアル カラー ネットワークを使用して、詳細なジオメトリを調整します。
さらに、ボクセル間での情報共有を可能にする階層ジオメトリ機能を導入します。
私たちの実験は、Voxurf が高効率と高品質を同時に達成することを示しています。
DTU ベンチマークでは、Voxurf は最先端の方法と比較してより高い再構成品質を達成し、トレーニングが 20 倍高速化されています。

要約(オリジナル)

Neural surface reconstruction aims to reconstruct accurate 3D surfaces based on multi-view images. Previous methods based on neural volume rendering mostly train a fully implicit model, and they require hours of training for a single scene. Recent efforts explore the explicit volumetric representation, which substantially accelerates the optimization process by memorizing significant information in learnable voxel grids. However, these voxel-based methods often struggle in reconstructing fine-grained geometry. Through empirical studies, we found that high-quality surface reconstruction hinges on two key factors: the capability of constructing a coherent shape and the precise modeling of color-geometry dependency. In particular, the latter is the key to the accurate reconstruction of fine details. Inspired by these findings, we develop Voxurf, a voxel-based approach for efficient and accurate neural surface reconstruction, which consists of two stages: 1) leverage a learnable feature grid to construct the color field and obtain a coherent coarse shape, and 2) refine detailed geometry with a dual color network that captures precise color-geometry dependency. We further introduce a hierarchical geometry feature to enable information sharing across voxels. Our experiments show that Voxurf achieves high efficiency and high quality at the same time. On the DTU benchmark, Voxurf achieves higher reconstruction quality compared to state-of-the-art methods, with 20x speedup in training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google