Surface-Centric Modeling for High-Fidelity Generalizable Neural Surface Reconstruction

要約

マルチビュー画像、特にまばらな画像から高忠実度の表面を再構成することは、近年広く注目を集めている重要かつ実用的なタスクです。
ただし、既存の方法はメモリの制約やグラウンドトゥルースの深さの要件によって妨げられ、満足のいく幾何学的詳細を復元できません。
この目的を達成するために、私たちは、一致するフィールドに基づいた新しいリージョンのスパース化を組み込んだ新しいサーフェス中心のフレームワークである SuRF を提案し、パフォーマンス、効率、スケーラビリティの間で適切なトレードオフを実現します。
私たちの知る限り、これは導入されたマッチング フィールドによってエンドツーエンドのスパース化を達成する最初の教師なし手法であり、重み分布を活用してサーフェスを含む境界領域を効率的に特定します。
各ボクセルの SDF 値を予測する代わりに、ボクセルが表面領域内にあるかどうかを判断してボリュームをスパース化する新しい領域スパース化アプローチを提案します。
このようにして、私たちのモデルは、より少ないメモリと計算量の消費で、表面の周囲のより高い周波数の特徴を利用できます。
複雑な大規模シーンを含む複数のベンチマークでの広範な実験により、再構成により高品質の詳細が表示され、新しい最先端のパフォーマンス、つまりメモリ消費量が 80% 削減されながら 46% の向上が達成されることが示されました。
コードは https://github.com/prstrive/SuRF で入手できます。

要約(オリジナル)

Reconstructing the high-fidelity surface from multi-view images, especially sparse images, is a critical and practical task that has attracted widespread attention in recent years. However, existing methods are impeded by the memory constraint or the requirement of ground-truth depths and cannot recover satisfactory geometric details. To this end, we propose SuRF, a new Surface-centric framework that incorporates a new Region sparsification based on a matching Field, achieving good trade-offs between performance, efficiency and scalability. To our knowledge, this is the first unsupervised method achieving end-to-end sparsification powered by the introduced matching field, which leverages the weight distribution to efficiently locate the boundary regions containing surface. Instead of predicting an SDF value for each voxel, we present a new region sparsification approach to sparse the volume by judging whether the voxel is inside the surface region. In this way, our model can exploit higher frequency features around the surface with less memory and computational consumption. Extensive experiments on multiple benchmarks containing complex large-scale scenes show that our reconstructions exhibit high-quality details and achieve new state-of-the-art performance, i.e., 46% improvements with 80% less memory consumption. Code is available at https://github.com/prstrive/SuRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google