Geometry-Guided Ray Augmentation for Neural Surface Reconstruction with Sparse Views

要約

この論文では、まばらな多視点画像から 3D シーンとオブジェクトを再構成するための新しい方法を提案します。
深度やシーン全体にわたる一般化可能な特徴などの追加情報を利用する以前の方法とは異なり、私たちのアプローチはマルチビュー入力に埋め込まれたシーン プロパティを利用して、事前のトレーニングなしで最適化のための正確な擬似ラベルを作成します。
具体的には、シーン内の点のすべての色の観察を総合的に考慮しながら、球面調和関数を活用して新しい放射輝度を予測することで、まばらなビューからの表面再構成精度を向上させる、ジオメトリに基づくアプローチを導入します。
また、私たちのパイプラインはプロキシ ジオメトリを活用し、以前の画像ワーピング手法では回避できなかった放射の疑似ラベルを生成する際のオクルージョンを正しく処理します。
Ray Augmentation (RayAug) と呼ばれる私たちの方法は、事前のトレーニングを必要とせずに DTU および Blender データセットで優れた結果を達成し、まばらなビューの再構成の問題に対処する際の有効性を示しています。
私たちのパイプラインは柔軟であり、スパースビューの他の暗黙的なニューラル再構成手法に統合できます。

要約(オリジナル)

In this paper, we propose a novel method for 3D scene and object reconstruction from sparse multi-view images. Different from previous methods that leverage extra information such as depth or generalizable features across scenes, our approach leverages the scene properties embedded in the multi-view inputs to create precise pseudo-labels for optimization without any prior training. Specifically, we introduce a geometry-guided approach that improves surface reconstruction accuracy from sparse views by leveraging spherical harmonics to predict the novel radiance while holistically considering all color observations for a point in the scene. Also, our pipeline exploits proxy geometry and correctly handles the occlusion in generating the pseudo-labels of radiance, which previous image-warping methods fail to avoid. Our method, dubbed Ray Augmentation (RayAug), achieves superior results on DTU and Blender datasets without requiring prior training, demonstrating its effectiveness in addressing the problem of sparse view reconstruction. Our pipeline is flexible and can be integrated into other implicit neural reconstruction methods for sparse views.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google