PIR: Photometric Inverse Rendering with Shading Cues Modeling and Surface Reflectance Regularization

要約

この論文では、測光画像からの逆レンダリングの問題に対処します。
この問題の既存のアプローチは、自己影、相互反射、および表面反射率に対する制約の欠如の影響に悩まされており、逆レンダリングの不適切な性質による反射率と照明の不正確な分解につながります。
この作業では、神経逆レンダリングの新しい方法を提案します。
私たちの方法は、画像のセルフシャドウを説明するために光源の位置を共同で最適化し、微分可能なレンダリング層と重要性サンプリング戦略を使用して間接照明を計算します。
表面反射率分解を強化するために、正確で一貫した材料分解を促進するために、恐竜の特徴を蒸留することにより、新しい正則化を導入します。
合成および実際のデータセットでの広範な実験は、この方法が反射率分解の最先端の方法よりも優れていることを示しています。

要約(オリジナル)

This paper addresses the problem of inverse rendering from photometric images. Existing approaches for this problem suffer from the effects of self-shadows, inter-reflections, and lack of constraints on the surface reflectance, leading to inaccurate decomposition of reflectance and illumination due to the ill-posed nature of inverse rendering. In this work, we propose a new method for neural inverse rendering. Our method jointly optimizes the light source position to account for the self-shadows in images, and computes indirect illumination using a differentiable rendering layer and an importance sampling strategy. To enhance surface reflectance decomposition, we introduce a new regularization by distilling DINO features to foster accurate and consistent material decomposition. Extensive experiments on synthetic and real datasets demonstrate that our method outperforms the state-of-the-art methods in reflectance decomposition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google