The Sky’s the Limit: Re-lightable Outdoor Scenes via a Sky-pixel Constrained Illumination Prior and Outside-In Visibility

要約

制約のない画像コレクションから屋外シーンを逆レンダリングすることは、特に照明/アルベドの曖昧さとジオメトリによって引き起こされる照明環境のオクルージョン(シャドウイング)など、困難な作業です。
ただし、画像には、ジオメトリ、アルベド、シャドウのもつれを解くのに役立つ手がかりが数多くあります。
私たちは、空のピクセルが対応する方向の遠方の照明を直接測定し、事前の神経照明を介して残りの照明環境に関する統計的な手がかりを提供するという事実を利用します。
また、神経方向距離関数に基づいて微分可能な空の可視性を計算するための新しい「アウトサイドイン」方法も紹介します。
これは効率的であり、ニューラル シーン表現と並行してトレーニングできるため、外観の損失から影から流れる勾配が照明とジオメトリの推定に影響を与えることができます。
私たちの手法は、高品質のアルベド、ジオメトリ、照明、空の可視性を推定し、NeRF-OSR リライティング ベンチマークで最先端の結果を達成します。
私たちのコードとモデルは https://github.com/JADGardner/neusky にあります。

要約(オリジナル)

Inverse rendering of outdoor scenes from unconstrained image collections is a challenging task, particularly illumination/albedo ambiguities and occlusion of the illumination environment (shadowing) caused by geometry. However, there are many cues in an image that can aid in the disentanglement of geometry, albedo and shadows. We exploit the fact that any sky pixel provides a direct measurement of distant lighting in the corresponding direction and, via a neural illumination prior, a statistical cue as to the remaining illumination environment. We also introduce a novel `outside-in’ method for computing differentiable sky visibility based on a neural directional distance function. This is efficient and can be trained in parallel with the neural scene representation, allowing gradients from appearance loss to flow from shadows to influence estimation of illumination and geometry. Our method estimates high-quality albedo, geometry, illumination and sky visibility, achieving state-of-the-art results on the NeRF-OSR relighting benchmark. Our code and models can be found https://github.com/JADGardner/neusky

arxiv情報

提供元, 利用サービス

arxiv.jp, Google