Learning Neural Radiance Fields from Multi-View Geometry

要約

画像ベースの 3D 再構成のために、従来のマルチビュー ジオメトリ アルゴリズムとニューラル ラディアンス フィールド (NeRF) を組み合わせた MVG-NeRF と呼ばれるフレームワークを提示します。
NeRF は、主に、高品質でジオメトリを意識した新しいビュー合成を可能にする微分可能なボリューム レンダリング定式化により、暗黙的な 3D 表現の分野に革命をもたらしました。
ただし、シーンの基礎となるジオメトリは、トレーニング中に明示的に制約されないため、マーチング キューブを使用してメッシュを抽出すると、ノイズが多くなり、正しくない結果が生じます。
この目的のために、従来の 3D 再構築パイプラインからのピクセル単位の深度と法線を、NeRF の最適化を導く幾何学的な優先順位として活用することを提案します。
このような事前確率は、推定された下にあるサーフェスの品質を向上させるために、トレーニング中に疑似グラウンド トゥルースとして使用されます。
さらに、各ピクセルは、ロバスト性を高めるために、前方後方再投影誤差に基づく信頼値によって重み付けされます。
実世界のデータに関する実験結果は、新しいビュー合成で競争力のあるパフォーマンスを維持しながら、画像からクリーンな 3D メッシュを取得する際のこのアプローチの有効性を示しています。

要約(オリジナル)

We present a framework, called MVG-NeRF, that combines classical Multi-View Geometry algorithms and Neural Radiance Fields (NeRF) for image-based 3D reconstruction. NeRF has revolutionized the field of implicit 3D representations, mainly due to a differentiable volumetric rendering formulation that enables high-quality and geometry-aware novel view synthesis. However, the underlying geometry of the scene is not explicitly constrained during training, thus leading to noisy and incorrect results when extracting a mesh with marching cubes. To this end, we propose to leverage pixelwise depths and normals from a classical 3D reconstruction pipeline as geometric priors to guide NeRF optimization. Such priors are used as pseudo-ground truth during training in order to improve the quality of the estimated underlying surface. Moreover, each pixel is weighted by a confidence value based on the forward-backward reprojection error for additional robustness. Experimental results on real-world data demonstrate the effectiveness of this approach in obtaining clean 3D meshes from images, while maintaining competitive performances in novel view synthesis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google