Neural Surface Reconstruction from Sparse Views Using Epipolar Geometry

要約

この論文では、情報の欠落によるあいまいさとオクルージョンが大きな障害となる、まばらなビュー入力からサーフェスを再構成するという課題に取り組みます。
我々は、エピポーラ情報を再構成プロセスに組み込む、EpiS と呼ばれる新しいアプローチを提案します。
スパースビュー神経表面学習の既存の方法は、主に特徴抽出にコスト ボリュームを使用した平均と分散の考慮に焦点を当ててきました。
対照的に、私たちの方法では、コスト ボリュームからの大まかな情報を複数のソース ビューから抽出されたエピポーラ特徴に集約し、きめの細かい信号距離関数 (SDF) 対応特徴の生成を可能にします。
さらに、ライン次元に沿ったアテンション メカニズムを採用して、SDF フィーチャに基づくフィーチャの融合を容易にします。
さらに、まばらな状態での情報ギャップに対処するために、グローバルおよびローカルの正則化手法を使用して、単眼の奥行き推定からの奥行き情報を統合します。
グローバル正則化では三重項損失関数が使用され、ローカル正則化では導関数損失関数が使用されます。
広範な実験により、特に希薄で一般化可能な条件の場合、私たちのアプローチが最先端の方法よりも優れていることが実証されています。

要約(オリジナル)

This paper addresses the challenge of reconstructing surfaces from sparse view inputs, where ambiguity and occlusions due to missing information pose significant hurdles. We present a novel approach, named EpiS, that incorporates Epipolar information into the reconstruction process. Existing methods in sparse-view neural surface learning have mainly focused on mean and variance considerations using cost volumes for feature extraction. In contrast, our method aggregates coarse information from the cost volume into Epipolar features extracted from multiple source views, enabling the generation of fine-grained Signal Distance Function (SDF)-aware features. Additionally, we employ an attention mechanism along the line dimension to facilitate feature fusion based on the SDF feature. Furthermore, to address the information gaps in sparse conditions, we integrate depth information from monocular depth estimation using global and local regularization techniques. The global regularization utilizes a triplet loss function, while the local regularization employs a derivative loss function. Extensive experiments demonstrate that our approach outperforms state-of-the-art methods, especially in cases with sparse and generalizable conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google