NeuRodin: A Two-stage Framework for High-Fidelity Neural Surface Reconstruction

要約

符号付き距離関数 (SDF) ベースのボリューム レンダリングは、表面再構築において重要な機能を実証しました。
SDF ベースの手法は有望ではありますが、多くの場合、詳細な幾何学的構造を捕捉できず、目に見える欠陥が生じます。
SDF ベースのボリューム レンダリングと密度ベースのボリューム レンダリングを比較することで、表面品質を低下させる SDF ベースのアプローチ内の 2 つの主な要因、つまり SDF から密度への表現と幾何学的正則化を特定します。
これらの要因は、SDF 分野の最適化を妨げる課題をもたらします。
これらの問題に対処するために、我々は、高忠実度の表面再構成を達成するだけでなく、密度ベースの方法の柔軟な最適化特性を保持する、新しい 2 段階の神経表面再構成フレームワークである NeuRodin を紹介します。
NeuRodin には、任意のトポロジの変換を容易にし、密度バイアスに関連するアーティファクトを軽減する革新的な戦略が組み込まれています。
Tanks and Temples および ScanNet++ データセットの広範な評価により、NeuRodin の優位性が実証され、ポーズを設定した RGB キャプチャのみを使用して屋内と屋外の両方の環境に対する強力な再構成機能が示されました。
プロジェクト Web サイト: https://open3dvlab.github.io/NeuRodin/

要約(オリジナル)

Signed Distance Function (SDF)-based volume rendering has demonstrated significant capabilities in surface reconstruction. Although promising, SDF-based methods often fail to capture detailed geometric structures, resulting in visible defects. By comparing SDF-based volume rendering to density-based volume rendering, we identify two main factors within the SDF-based approach that degrade surface quality: SDF-to-density representation and geometric regularization. These factors introduce challenges that hinder the optimization of the SDF field. To address these issues, we introduce NeuRodin, a novel two-stage neural surface reconstruction framework that not only achieves high-fidelity surface reconstruction but also retains the flexible optimization characteristics of density-based methods. NeuRodin incorporates innovative strategies that facilitate transformation of arbitrary topologies and reduce artifacts associated with density bias. Extensive evaluations on the Tanks and Temples and ScanNet++ datasets demonstrate the superiority of NeuRodin, showing strong reconstruction capabilities for both indoor and outdoor environments using solely posed RGB captures. Project website: https://open3dvlab.github.io/NeuRodin/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google