RNb-NeuS: Reflectance and Normal-based Multi-View 3D Reconstruction

要約

この論文では、フォトメトリック ステレオを通じて取得されたマルチビュー反射率 (オプション) と法線マップを統合するための多用途パラダイムを紹介します。
私たちのアプローチでは、反射率と法線をピクセルごとに結合して再パラメータ化し、それらをシミュレートされたさまざまな照明の下でレンダリングされた放射輝度のベクトルとして考慮します。
この再パラメータ化により、単一の最適化目標を維持しながら、ニューラル ボリューム レンダリング ベースの 3D 再構成における入力データとして反射率と法線マップをシームレスに統合できます。
対照的に、最近の多視点測光ステレオ (MVPS) 手法は、複数の潜在的に矛盾する目的に依存しています。
見かけの単純さにも関わらず、私たちが提案したアプローチは、F スコア、面取り距離、平均角度誤差メトリックのすべての MVPS ベンチマークにおいて、最先端のアプローチを上回っています。
特に、曲率が高い領域や視認性が低い領域の詳細な 3D 再構成が大幅に向上します。

要約(オリジナル)

This paper introduces a versatile paradigm for integrating multi-view reflectance (optional) and normal maps acquired through photometric stereo. Our approach employs a pixel-wise joint re-parameterization of reflectance and normal, considering them as a vector of radiances rendered under simulated, varying illumination. This re-parameterization enables the seamless integration of reflectance and normal maps as input data in neural volume rendering-based 3D reconstruction while preserving a single optimization objective. In contrast, recent multi-view photometric stereo (MVPS) methods depend on multiple, potentially conflicting objectives. Despite its apparent simplicity, our proposed approach outperforms state-of-the-art approaches in MVPS benchmarks across F-score, Chamfer distance, and mean angular error metrics. Notably, it significantly improves the detailed 3D reconstruction of areas with high curvature or low visibility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google