Multi-view Surface Reconstruction Using Normal and Reflectance Cues

要約

特に複雑な反射特性を備えた材料の存在下で、密なビューセットアップなしで、微妙な忠実度の3D表面再構成を達成しながら、細かい詳細を維持しながら、依然として困難なままです。
このペーパーでは、マルチビューの通常およびオプションの反射マップを放射輝度ベースの表面再構成に組み込んだ汎用性のあるフレームワークを紹介します。
私たちのアプローチでは、反射率と表面正常のピクセルごとのジョイントの再パラメーター化を採用しており、シミュレートされたさまざまな照明下での放射線のベクトルとしてそれらを表します。
この定式化により、従来のマルチビューステレオ（MVS）フレームワークや最新のニューラルボリュームレンダリング（NVR）レンダリング（NVR）などの標準表面再構成パイプラインへのシームレスな組み込みが可能になります。
後者と組み合わせて、私たちのアプローチは、勤勉なMV、Luces-MV、SkolTech3Dを含むマルチビューの光メトリックステレオ（MVPS）ベンチマークデータセットで最先端のパフォーマンスを実現します。
特に、私たちの方法は、細かい詳細を再構築し、困難な可視性条件を処理することに優れています。
本論文は、Brumentらによる以前の会議論文の拡張バージョンです。
（コンピュータービジョンとパターン認識に関するIEEE/CVF会議（CVPR）、2024年）の議事録。加速された、より堅牢なアルゴリズムとより広範な経験的評価を特徴としています。
この記事に関連するコードとデータは、https：//github.com/robinbruneau/rnb-neus2で入手できます。

要約(オリジナル)

Achieving high-fidelity 3D surface reconstruction while preserving fine details remains challenging, especially in the presence of materials with complex reflectance properties and without a dense-view setup. In this paper, we introduce a versatile framework that incorporates multi-view normal and optionally reflectance maps into radiance-based surface reconstruction. Our approach employs a pixel-wise joint re-parametrization of reflectance and surface normals, representing them as a vector of radiances under simulated, varying illumination. This formulation enables seamless incorporation into standard surface reconstruction pipelines, such as traditional multi-view stereo (MVS) frameworks or modern neural volume rendering (NVR) ones. Combined with the latter, our approach achieves state-of-the-art performance on multi-view photometric stereo (MVPS) benchmark datasets, including DiLiGenT-MV, LUCES-MV and Skoltech3D. In particular, our method excels in reconstructing fine-grained details and handling challenging visibility conditions. The present paper is an extended version of the earlier conference paper by Brument et al. (in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024), featuring an accelerated and more robust algorithm as well as a broader empirical evaluation. The code and data relative to this article is available at https://github.com/RobinBruneau/RNb-NeuS2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google