C2F2NeUS: Cascade Cost Frustum Fusion for High Fidelity and Generalizable Neural Surface Reconstruction

要約

マルチビュー ステレオ (MVS) とニューラル インプリシット サーフェス (NIS) を使用し、特に少数ショット/スパース ビュー設定に焦点を当てて、2 つの人気のある 3D フレームワークを組み合わせる新たな取り組みが始まっています。
この論文では、多視点ステレオとニューラル符号付き距離関数表現を組み合わせた新しい統合スキームを紹介します。これにより、両方の方法の制限が克服される可能性があります。
MVS はビューごとの深度推定とクロスビュー フュージョンを使用して正確なサーフェスを生成しますが、NIS は共通の座標ボリュームに依存します。
この戦略に基づいて、より詳細なジオメトリ推定のためにビューごとのコスト錐台を構築し、次にビュー横断錐台を融合し、暗黙の符号付き距離関数を推定して、生成された表面再構築におけるノイズと穴によるアーティファクトに取り組むことを提案します。
さらに、カスケード錐台融合戦略を適用して、グローバルとローカルの情報と構造の一貫性を効果的に取得します。
最後に、カスケード サンプリングと擬似幾何学的損失を適用して、2 つのアーキテクチャ間のより強力な統合を促進します。
広範な実験により、私たちの方法が堅牢な表面を再構築し、既存の最先端の方法よりも優れていることが実証されました。

要約(オリジナル)

There is an emerging effort to combine the two popular 3D frameworks using Multi-View Stereo (MVS) and Neural Implicit Surfaces (NIS) with a specific focus on the few-shot / sparse view setting. In this paper, we introduce a novel integration scheme that combines the multi-view stereo with neural signed distance function representations, which potentially overcomes the limitations of both methods. MVS uses per-view depth estimation and cross-view fusion to generate accurate surfaces, while NIS relies on a common coordinate volume. Based on this strategy, we propose to construct per-view cost frustum for finer geometry estimation, and then fuse cross-view frustums and estimate the implicit signed distance functions to tackle artifacts that are due to noise and holes in the produced surface reconstruction. We further apply a cascade frustum fusion strategy to effectively captures global-local information and structural consistency. Finally, we apply cascade sampling and a pseudo-geometric loss to foster stronger integration between the two architectures. Extensive experiments demonstrate that our method reconstructs robust surfaces and outperforms existing state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google