C2F2NeUS: Cascade Cost Frustum Fusion for High Fidelity and Generalizable Neural Surface Reconstruction

要約

まばらなビューからシーンを再構成する際に、2 つの一般的な技術パス、つまりマルチビュー ステレオ (MVS) とニューラル インプリシット サーフェス (NIS) を組み合わせようという新たな取り組みが始まっています。
この論文では、多視点ステレオとニューラル符号付き距離関数表現を組み合わせた新しい統合スキームを紹介します。これにより、両方の方法の制限が克服される可能性があります。
MVS はビューごとの深度推定とクロスビュー フュージョンを使用して正確なサーフェスを生成しますが、NIS は共通の座標ボリュームに依存します。
これに基づいて、より詳細なジオメトリ推定のためにビューごとのコスト錐台を構築し、次にビュー横断錐台を融合して暗黙的な符号付き距離関数を推定して、ノイズとホールの問題に取り組むことを提案します。
さらに、カスケード錐台融合戦略を適用して、グローバルとローカルの情報と構造の一貫性を効果的に取得します。
最後に、カスケード サンプリングと擬似幾何学的損失を適用して、2 つのアーキテクチャ間のより強力な統合を促進します。
広範な実験により、私たちの方法が堅牢な表面を再構築し、既存の最先端の方法よりも優れていることが実証されました。

要約(オリジナル)

There is an emerging effort to combine the two popular technical paths, i.e., the multi-view stereo (MVS) and neural implicit surface (NIS), in scene reconstruction from sparse views. In this paper, we introduce a novel integration scheme that combines the multi-view stereo with neural signed distance function representations, which potentially overcomes the limitations of both methods. MVS uses per-view depth estimation and cross-view fusion to generate accurate surface, while NIS relies on a common coordinate volume. Based on this, we propose to construct per-view cost frustum for finer geometry estimation, and then fuse cross-view frustums and estimate the implicit signed distance functions to tackle noise and hole issues. We further apply a cascade frustum fusion strategy to effectively captures global-local information and structural consistency. Finally, we apply cascade sampling and a pseudo-geometric loss to foster stronger integration between the two architectures. Extensive experiments demonstrate that our method reconstructs robust surfaces and outperforms existing state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google