Neuralangelo: High-Fidelity Neural Surface Reconstruction

要約

ニューラルサーフェス再構成は、画像ベースのニューラルレンダリングによって密な3Dサーフェスを回復するのに強力であることが示されている。しかし、現在の手法では、実世界のシーンの詳細な構造を復元するのに苦労している。この問題を解決するために、我々は、多解像度3Dハッシュグリッドの表現力とニューラルサーフェスレンダリングを組み合わせたNeuralangeloを発表する。(1)高階微分を計算するための数値勾配による平滑化、(2)異なる詳細度を制御するハッシュグリッドの粗から細への最適化です。深度などの補助入力がなくても、Neuralangeloはマルチビュー画像から高密度な3次元表面構造を、従来の方法を大きく上回る忠実度で効果的に復元し、RGBビデオ画像から詳細な大規模シーン再構成を可能にします。

要約(オリジナル)

Neural surface reconstruction has been shown to be powerful for recovering dense 3D surfaces via image-based neural rendering. However, current methods struggle to recover detailed structures of real-world scenes. To address the issue, we present Neuralangelo, which combines the representation power of multi-resolution 3D hash grids with neural surface rendering. Two key ingredients enable our approach: (1) numerical gradients for computing higher-order derivatives as a smoothing operation and (2) coarse-to-fine optimization on the hash grids controlling different levels of details. Even without auxiliary inputs such as depth, Neuralangelo can effectively recover dense 3D surface structures from multi-view images with fidelity significantly surpassing previous methods, enabling detailed large-scale scene reconstruction from RGB video captures.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL