PBIR-NIE: Glossy Object Capture under Non-Distant Lighting

要約

光沢のあるオブジェクトは、自然光の下で多視点入力画像から 3D 再構成する際に大きな課題となります。
この論文では、そのようなオブジェクトの形状、材質属性、および周囲の照明を総合的に捉えるように設計された逆レンダリング フレームワークである PBIR-NIE を紹介します。
私たちは、現実世界のキャプチャ設定でよく見られる、シーンのニアフィールド背景を正確にモデル化する、軽量で効率的な照明表現として、視差を意識した新しい非遠方環境マップを提案します。
この機能により、フレームワークは標準の無限距離環境マップの機能を超えた複雑な視差効果に対応できるようになります。
私たちの手法は、物理ベースの微分可能レンダリングを通じて基礎となる符号付き距離フィールド (SDF) を最適化し、ニューラル インプリシット エボリューション (NIE) を介して三角形メッシュと SDF の間の表面勾配をシームレスに接続します。
微分可能レンダリングにおける高度に光沢のある BRDF の複雑さに対処するために、モンテカルロ勾配推定器の分散を軽減するための逆サンプリング アルゴリズムを統合します。
その結果、私たちのフレームワークは、光沢のあるオブジェクトの再構築を処理する堅牢な機能を示し、ジオメトリ、再照明、マテリアル推定において優れた品質を示します。

要約(オリジナル)

Glossy objects present a significant challenge for 3D reconstruction from multi-view input images under natural lighting. In this paper, we introduce PBIR-NIE, an inverse rendering framework designed to holistically capture the geometry, material attributes, and surrounding illumination of such objects. We propose a novel parallax-aware non-distant environment map as a lightweight and efficient lighting representation, accurately modeling the near-field background of the scene, which is commonly encountered in real-world capture setups. This feature allows our framework to accommodate complex parallax effects beyond the capabilities of standard infinite-distance environment maps. Our method optimizes an underlying signed distance field (SDF) through physics-based differentiable rendering, seamlessly connecting surface gradients between a triangle mesh and the SDF via neural implicit evolution (NIE). To address the intricacies of highly glossy BRDFs in differentiable rendering, we integrate the antithetic sampling algorithm to mitigate variance in the Monte Carlo gradient estimator. Consequently, our framework exhibits robust capabilities in handling glossy object reconstruction, showcasing superior quality in geometry, relighting, and material estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google