Eclipse: Disambiguating Illumination and Materials using Unintended Shadows

要約

オブジェクトの 3D 形状が事前にわかっている場合でも、オブジェクトの外観をそのマテリアルと周囲の照明の表現に分解することは困難です。
拡散マテリアルは入射光を著しくぼやかすため、この問題は悪条件であり、高周波照明下の拡散マテリアルは低周波照明下の光沢のあるマテリアルと区別できない可能性があるため、悪条件となります。
私たちは、被写体の周りを移動する写真家によって被写体に投影される影など、意図しない影を利用することで、拡散した被写体からであっても、正確なマテリアルと照明を復元できることを示します。
これらのシャドウは、これまでのほとんどの逆レンダリング パイプラインでは厄介なものでしたが、ここではコンディショニングを改善し、マテリアルとライティングのあいまいさを解決するのに役立つ信号として利用します。
我々は、物体の画像を使用して、空間的に変化するマテリアル、周囲の照明環境、不注意で物体に影を落とす目に見えない光の遮蔽物の形状を共同で復元する、微分可能なモンテカルロ光線追跡に基づく方法を提案します。

要約(オリジナル)

Decomposing an object’s appearance into representations of its materials and the surrounding illumination is difficult, even when the object’s 3D shape is known beforehand. This problem is ill-conditioned because diffuse materials severely blur incoming light, and is ill-posed because diffuse materials under high-frequency lighting can be indistinguishable from shiny materials under low-frequency lighting. We show that it is possible to recover precise materials and illumination — even from diffuse objects — by exploiting unintended shadows, like the ones cast onto an object by the photographer who moves around it. These shadows are a nuisance in most previous inverse rendering pipelines, but here we exploit them as signals that improve conditioning and help resolve material-lighting ambiguities. We present a method based on differentiable Monte Carlo ray tracing that uses images of an object to jointly recover its spatially-varying materials, the surrounding illumination environment, and the shapes of the unseen light occluders who inadvertently cast shadows upon it.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google