The Sky’s the Limit: Re-lightable Outdoor Scenes via a Sky-pixel Constrained Illumination Prior and Outside-In Visibility

要約

制約のない画像コレクションから屋外シーンを逆レンダリングすることは、特に照明/アルベドの曖昧さとジオメトリによって引き起こされる照明環境のオクルージョン(シャドウイング)など、困難な作業です。
ただし、画像には、ジオメトリ、アルベド、シャドウのもつれを解くのに役立つ手がかりが数多くあります。
最先端の方法では空は頻繁にマスクされますが、私たちは空のピクセルが対応する方向の遠方の照明を直接観察し、事前に神経照明を介して残りの光を導き出すための統計的な手がかりを提供するという事実を利用します。
照明環境。
私たちの照明事前の組み込みは、神経方向距離関数に基づいて微分可能な空の可視性を計算するための新しい「アウトサイドイン」方法によって可能になります。
これは非常に効率的で、ニューラル シーン表現と並行してトレーニングできるため、外観の損失から影から流れる勾配が照明とジオメトリの推定に影響を与えることができます。
私たちの手法は、高品質のアルベド、ジオメトリ、照明、空の可視性を推定し、NeRF-OSR リライティング ベンチマークで最先端の結果を達成します。
私たちのコードとモデルは https://github.com/JADGardner/neusky で見つけることができます。

要約(オリジナル)

Inverse rendering of outdoor scenes from unconstrained image collections is a challenging task, particularly illumination/albedo ambiguities and occlusion of the illumination environment (shadowing) caused by geometry. However, there are many cues in an image that can aid in the disentanglement of geometry, albedo and shadows. Whilst sky is frequently masked out in state-of-the-art methods, we exploit the fact that any sky pixel provides a direct observation of distant lighting in the corresponding direction and, via a neural illumination prior, a statistical cue to derive the remaining illumination environment. The incorporation of our illumination prior is enabled by a novel `outside-in’ method for computing differentiable sky visibility based on a neural directional distance function. This is highly efficient and can be trained in parallel with the neural scene representation, allowing gradients from appearance loss to flow from shadows to influence the estimation of illumination and geometry. Our method estimates high-quality albedo, geometry, illumination and sky visibility, achieving state-of-the-art results on the NeRF-OSR relighting benchmark. Our code and models can be found at https://github.com/JADGardner/neusky

arxiv情報

提供元, 利用サービス

arxiv.jp, Google