HelixSurf: A Robust and Efficient Neural Implicit Surface Learning of Indoor Scenes with Iterative Intertwined Regularization

要約

多視点画像から基礎となるシーン ジオメトリを復元することは、コンピューター ビジョン研究における長年の課題です。
最近の約束は、ニューラルの暗黙的な表面学習と微分可能なボリューム レンダリングを活用し、シーン ジオメトリの回復と新しいビューの合成の両方を実現します。ここでは、ニューラル モデルの深い事前分布が誘導平滑バイアスとして使用されます。
これらの方法は、オブジェクト レベルのサーフェスには適していますが、複雑なシーン サーフェスに対処する場合には問題があります。
その間、従来のマルチビュー ステレオは、複数のビュー間で局所的なピクセル単位の対応をグローバルに最適化することにより、リッチ テクスチャを使用してシーンのジオメトリを復元できます。
したがって、2 つの戦略からの補完的な利点を活用し、Helix-shape のニューラル暗黙的 Surface 学習または HelixSurf と呼ばれる方法を提案することに意欲的です。
HelixSurf は、一方の戦略からの中間予測をガイダンスとして使用して、他方の学習を正則化し、学習プロセス中にそのような絡み合った正則化を繰り返し実行します。
また、HelixSurf における微分可能なボリューム レンダリングの効率的なスキームも提案します。
屋内シーンの表面再構築に関する実験では、既存の方法の一部が補助トレーニング データで支援されている場合でも、私たちの方法が既存の方法よりも優れており、桁違いに高速であることを示しています。
ソース コードは、https://github.com/Gorilla-Lab-SCUT/HelixSurf で入手できます。

要約(オリジナル)

Recovery of an underlying scene geometry from multiview images stands as a long-time challenge in computer vision research. The recent promise leverages neural implicit surface learning and differentiable volume rendering, and achieves both the recovery of scene geometry and synthesis of novel views, where deep priors of neural models are used as an inductive smoothness bias. While promising for object-level surfaces, these methods suffer when coping with complex scene surfaces. In the meanwhile, traditional multi-view stereo can recover the geometry of scenes with rich textures, by globally optimizing the local, pixel-wise correspondences across multiple views. We are thus motivated to make use of the complementary benefits from the two strategies, and propose a method termed Helix-shaped neural implicit Surface learning or HelixSurf; HelixSurf uses the intermediate prediction from one strategy as the guidance to regularize the learning of the other one, and conducts such intertwined regularization iteratively during the learning process. We also propose an efficient scheme for differentiable volume rendering in HelixSurf. Experiments on surface reconstruction of indoor scenes show that our method compares favorably with existing methods and is orders of magnitude faster, even when some of existing methods are assisted with auxiliary training data. The source code is available at https://github.com/Gorilla-Lab-SCUT/HelixSurf.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google