DiViNeT: 3D Reconstruction from Disparate Views via Neural Template Regularization

要約

我々は、わずか 3 つの異なる RGB 画像を入力として受け取る、ボリューム レンダリング ベースの神経表面再構成法を提案します。
私たちの重要なアイデアは、表面事前分布として機能する一連のニューラル テンプレートを学習することで、著しく位置が悪く、まばらなビュー間に大きなギャップが残る再構成を正規化することです。
私たちの手法は DiViNet と名付けられ、2 つの段階で動作します。
最初の段階では、3D の監視なしで、さまざまなシーンにわたって 3D ガウス関数の形式でテンプレートを学習します。
再構築段階では、予測されたテンプレートがアンカーとして機能し、まばらな領域上にサーフェスを「ステッチ」するのに役立ちます。
私たちのアプローチが表面ジオメトリを完成させるだけでなく、いくつかの異なる入力ビューから合理的な範囲で表面の詳細を再構築できることを実証します。
DTU および BlendedMVS データセットでは、このような疎なビューが存在する場合、私たちのアプローチは既存の手法の中で最高の再構成品質を実現し、密なビューが入力として使用される場合、競合する手法と同等かそれ以上のパフォーマンスを発揮します。

要約(オリジナル)

We present a volume rendering-based neural surface reconstruction method that takes as few as three disparate RGB images as input. Our key idea is to regularize the reconstruction, which is severely ill-posed and leaving significant gaps between the sparse views, by learning a set of neural templates that act as surface priors. Our method coined DiViNet, operates in two stages. The first stage learns the templates, in the form of 3D Gaussian functions, across different scenes, without 3D supervision. In the reconstruction stage, our predicted templates serve as anchors to help ‘stitch’ the surfaces over sparse regions. We demonstrate that our approach is not only able to complete the surface geometry but also reconstructs surface details to a reasonable extent from few disparate input views. On the DTU and BlendedMVS datasets, our approach achieves the best reconstruction quality among existing methods in the presence of such sparse views, and performs on par, if not better, with competing methods when dense views are employed as inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google