Spurfies: Sparse Surface Reconstruction using Local Geometry Priors

要約

我々は、外観と幾何学情報を解きほぐし、合成データで訓練された局所幾何学事前分布を利用する、スパースビュー表面再構築のための新しい方法である Spurfies を紹介します。
最近の研究は、通常、数百枚の画像を必要とする、高密度のマルチビュー設定を使用した 3D 再構成に重点を置いています。
ただし、これらの方法はビュー数が少ないシナリオでは問題が発生することがよくあります。
既存のスパースビュー再構成技術は、多くの場合、大量のデータからジオメトリと外観の結合事前分布を学習する必要があるマルチビュー ステレオ ネットワークに依存しています。
対照的に、合成 ShapeNet データセットのみのサブセットを使用する前に、ジオメトリと外観を解きほぐし、ローカル ジオメトリをトレーニングするニューラル ポイント表現を導入します。
推論中、微分可能なボリューム レンダリングを介してまばらな入力ビューから表面と外観を再構成するための追加の制約としてこの表面事前を利用し、可能な解の空間を制限します。
DTU データセットに対する私たちの方法の有効性を検証し、競争力のある新しいビュー合成品質を達成しながら、サーフェス品質において以前の最先端技術を 35% 上回っていることを実証します。
さらに、以前の研究とは対照的に、私たちの方法は、Mip-NeRF 360 などのより大きな、境界のないシーンに適用できます。

要約(オリジナル)

We introduce Spurfies, a novel method for sparse-view surface reconstruction that disentangles appearance and geometry information to utilize local geometry priors trained on synthetic data. Recent research heavily focuses on 3D reconstruction using dense multi-view setups, typically requiring hundreds of images. However, these methods often struggle with few-view scenarios. Existing sparse-view reconstruction techniques often rely on multi-view stereo networks that need to learn joint priors for geometry and appearance from a large amount of data. In contrast, we introduce a neural point representation that disentangles geometry and appearance to train a local geometry prior using a subset of the synthetic ShapeNet dataset only. During inference, we utilize this surface prior as additional constraint for surface and appearance reconstruction from sparse input views via differentiable volume rendering, restricting the space of possible solutions. We validate the effectiveness of our method on the DTU dataset and demonstrate that it outperforms previous state of the art by 35% in surface quality while achieving competitive novel view synthesis quality. Moreover, in contrast to previous works, our method can be applied to larger, unbounded scenes, such as Mip-NeRF 360.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google