SparseNeuS: Fast Generalizable Neural Surface Reconstruction from Sparse Views

要約

SparseNeuS は、マルチビュー画像から表面を再構築するための新しいニューラル レンダリング ベースの方法です。
まばらな画像のみが入力として提供される場合、このタスクはより困難になります。これは、既存のニューラル再構築アプローチが通常、不完全または歪んだ結果を生成するシナリオです。
さらに、目に見えない新しいシーンに一般化することができないため、実際の適用が妨げられます。
反対に、SparseNeuS は新しいシーンに一般化でき、まばらな画像 (わずか 2 または 3) でうまく機能します。
SparseNeuS は、曲面表現として符号付き距離関数 (SDF) を採用し、一般的な曲面予測のためにジオメトリ エンコーディング ボリュームを導入することで、画像の特徴から一般化可能な事前確率を学習します。
さらに、スパース ビューを効果的に活用して高品質の再構成を行うためのいくつかの戦略が導入されています。
2) より信頼性の高い色予測のためのマルチスケール カラー ブレンディング スキーム。
3) オクルージョンとノイズによって引き起こされる一貫性のない領域を制御するための、一貫性を意識した微調整スキーム。
広範な実験により、私たちのアプローチが最先端の方法よりも優れているだけでなく、優れた効率、一般化可能性、および柔軟性も示すことが示されています。

要約(オリジナル)

We introduce SparseNeuS, a novel neural rendering based method for the task of surface reconstruction from multi-view images. This task becomes more difficult when only sparse images are provided as input, a scenario where existing neural reconstruction approaches usually produce incomplete or distorted results. Moreover, their inability of generalizing to unseen new scenes impedes their application in practice. Contrarily, SparseNeuS can generalize to new scenes and work well with sparse images (as few as 2 or 3). SparseNeuS adopts signed distance function (SDF) as the surface representation, and learns generalizable priors from image features by introducing geometry encoding volumes for generic surface prediction. Moreover, several strategies are introduced to effectively leverage sparse views for high-quality reconstruction, including 1) a multi-level geometry reasoning framework to recover the surfaces in a coarse-to-fine manner; 2) a multi-scale color blending scheme for more reliable color prediction; 3) a consistency-aware fine-tuning scheme to control the inconsistent regions caused by occlusion and noise. Extensive experiments demonstrate that our approach not only outperforms the state-of-the-art methods, but also exhibits good efficiency, generalizability, and flexibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google