Photometric Inverse Rendering: Shading Cues Modeling and Surface Reflectance Regularization

要約

この論文では、フォトメトリック画像からの逆レンダリングの問題を扱います。
この問題に対する既存のアプローチは、自己影、相互反射、および表面反射率に対する制約の欠如の影響を受けており、逆レンダリングの不適切な性質により反射率と照明の不正確な分解につながります。
この研究では、ニューラル インバース レンダリングの新しい方法を提案します。
私たちの方法では、画像内の自己影を考慮して光源の位置を最適化し、微分可能なレンダリング層と重要度サンプリング戦略を使用して間接照明を計算します。
表面反射率の分解を強化するために、DINO の特徴を抽出することによって新しい正則化を導入し、正確で一貫したマテリアルの分解を促進します。
合成データセットと実際のデータセットに対する広範な実験により、私たちの方法が反射率分解において最先端の方法よりも優れていることが実証されました。

要約(オリジナル)

This paper addresses the problem of inverse rendering from photometric images. Existing approaches for this problem suffer from the effects of self-shadows, inter-reflections, and lack of constraints on the surface reflectance, leading to inaccurate decomposition of reflectance and illumination due to the ill-posed nature of inverse rendering. In this work, we propose a new method for neural inverse rendering. Our method jointly optimizes the light source position to account for the self-shadows in images, and computes indirect illumination using a differentiable rendering layer and an importance sampling strategy. To enhance surface reflectance decomposition, we introduce a new regularization by distilling DINO features to foster accurate and consistent material decomposition. Extensive experiments on synthetic and real datasets demonstrate that our method outperforms the state-of-the-art methods in reflectance decomposition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google