GURecon: Learning Detailed 3D Geometric Uncertainties for Neural Surface Reconstruction

要約

神経表面表現は、新しいビューの合成と 3D 再構成の分野で目覚ましい成功を収めています。
ただし、グラウンド トゥルース メッシュがない場合に 3D 再構成の幾何学的品質を評価することは、レンダリング ベースの最適化プロセスと、測光損失を伴う外観とジオメトリの絡み合った学習のため、依然として大きな課題です。
この論文では、幾何学的一貫性に基づいて神経表面の幾何学的不確実性フィールドを確立する新しいフレームワーク、つまり GURecon を紹介します。
レンダリングベースの測定に依存する既存の方法とは異なり、GURecon は再構成された表面の連続 3D 不確実性フィールドをモデル化し、監視のための実際の幾何学的情報を導入することなくオンライン蒸留アプローチによって学習されます。
さらに、幾何学的一貫性に対する照明の干渉を軽減するために、分離されたフィールドが学習され、不確実性フィールドを微調整するために利用されます。
さまざまなデータセットでの実験により、3D 幾何学的な不確実性のモデリングにおける GURecon の優位性だけでなく、さまざまな神経表面表現へのプラグ アンド プレイ拡張や増分再構成などの下流タスクの改善も実証されています。
コードと補足資料はプロジェクト Web サイト (https://zju3dv.github.io/GURecon/) で入手できます。

要約(オリジナル)

Neural surface representation has demonstrated remarkable success in the areas of novel view synthesis and 3D reconstruction. However, assessing the geometric quality of 3D reconstructions in the absence of ground truth mesh remains a significant challenge, due to its rendering-based optimization process and entangled learning of appearance and geometry with photometric losses. In this paper, we present a novel framework, i.e, GURecon, which establishes a geometric uncertainty field for the neural surface based on geometric consistency. Different from existing methods that rely on rendering-based measurement, GURecon models a continuous 3D uncertainty field for the reconstructed surface, and is learned by an online distillation approach without introducing real geometric information for supervision. Moreover, in order to mitigate the interference of illumination on geometric consistency, a decoupled field is learned and exploited to finetune the uncertainty field. Experiments on various datasets demonstrate the superiority of GURecon in modeling 3D geometric uncertainty, as well as its plug-and-play extension to various neural surface representations and improvement on downstream tasks such as incremental reconstruction. The code and supplementary material are available on the project website: https://zju3dv.github.io/GURecon/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google