NeuSurf: On-Surface Priors for Neural Surface Reconstruction from Sparse Input Views

要約

最近、神経陰関数は多視点再構成の分野で顕著な成果を示しています。
ただし、既存の方法のほとんどは密なビューに合わせて調整されており、疎なビューを処理する場合には満足のいくパフォーマンスが得られません。
スパースビュー再構成タスクに対処するために暗黙的再構成を一般化するための最新の方法がいくつか提案されていますが、それらは依然として高いトレーニングコストがかかり、慎重に選択された観点の下でのみ有効です。
この論文では、表面上の事前分布を活用して非常に忠実な表面再構成を実現する、新しいスパース ビュー再構成フレームワークを提案します。
具体的には、大まかな形状と細かい詳細を共同で最適化するために、グローバル ジオメトリの位置合わせとローカル ジオメトリの洗練に関するいくつかの制約を設計します。
これを達成するために、SfM から取得した表面上の点からグローバルな暗黙的フィールドを学習し、それを粗い幾何学的制約として利用するようにニューラル ネットワークをトレーニングします。
局所的な幾何学的一貫性を利用するために、投影されたフィーチャの一貫した損失を細かい幾何学的制約として扱い、表面上の点を目に見えるビューと見えないビューに投影します。
2 つの一般的なスパース設定における DTU および BlendedMVS データセットを使用した実験結果は、最先端の方法と比較して大幅な改善を示しています。

要約(オリジナル)

Recently, neural implicit functions have demonstrated remarkable results in the field of multi-view reconstruction. However, most existing methods are tailored for dense views and exhibit unsatisfactory performance when dealing with sparse views. Several latest methods have been proposed for generalizing implicit reconstruction to address the sparse view reconstruction task, but they still suffer from high training costs and are merely valid under carefully selected perspectives. In this paper, we propose a novel sparse view reconstruction framework that leverages on-surface priors to achieve highly faithful surface reconstruction. Specifically, we design several constraints on global geometry alignment and local geometry refinement for jointly optimizing coarse shapes and fine details. To achieve this, we train a neural network to learn a global implicit field from the on-surface points obtained from SfM and then leverage it as a coarse geometric constraint. To exploit local geometric consistency, we project on-surface points onto seen and unseen views, treating the consistent loss of projected features as a fine geometric constraint. The experimental results with DTU and BlendedMVS datasets in two prevalent sparse settings demonstrate significant improvements over the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google