StyleLight: HDR Panorama Generation for Lighting Estimation and Editing

要約

低ダイナミック レンジ (LDR) カメラでキャプチャされた単一の限られた視野 (LFOV) 画像から高ダイナミック レンジ (HDR) 屋内パノラマ照明を生成するための新しい照明推定および編集フレームワークを提示します。
既存の照明推定方法は、照明表現パラメータを直接回帰するか、この問題を LFOV からパノラマおよび LDR から HDR 照明生成サブタスクに分解します。
ただし、部分的な観察、高ダイナミック レンジの照明、およびシーン固有のあいまいさのため、照明の推定は依然として困難な作業です。
この問題に取り組むために、LDR と HDR パノラマ合成を統合フレームワークに統合する、結合されたデュアル StyleGAN パノラマ合成ネットワーク (StyleLight) を提案します。
LDR と HDR のパノラマ合成は、同様のジェネレーターを共有しますが、個別のディスクリミネーターを持っています。
推論中に、LDR LFOV 画像が与えられると、LDR パノラマ合成ブランチによって潜在的なコードを見つけ、HDR パノラマ合成ブランチによって HDR パノラマを合成するための焦点マスクされた GAN 反転メソッドを提案します。
StyleLight は、LFOV からパノラマへ、および LDR から HDR への照明生成を統合されたフレームワークに取り込み、照明の推定を大幅に改善します。
広範な実験により、私たちのフレームワークが屋内照明推定に関する最先端の方法よりも優れたパフォーマンスを達成することが実証されています。
特に、StyleLight を使用すると、室内 HDR パノラマでの直感的なライティング編集も可能になり、現実世界のアプリケーションに適しています。
コードは https://style-light.github.io で入手できます。

要約(オリジナル)

We present a new lighting estimation and editing framework to generate high-dynamic-range (HDR) indoor panorama lighting from a single limited field-of-view (LFOV) image captured by low-dynamic-range (LDR) cameras. Existing lighting estimation methods either directly regress lighting representation parameters or decompose this problem into LFOV-to-panorama and LDR-to-HDR lighting generation sub-tasks. However, due to the partial observation, the high-dynamic-range lighting, and the intrinsic ambiguity of a scene, lighting estimation remains a challenging task. To tackle this problem, we propose a coupled dual-StyleGAN panorama synthesis network (StyleLight) that integrates LDR and HDR panorama synthesis into a unified framework. The LDR and HDR panorama synthesis share a similar generator but have separate discriminators. During inference, given an LDR LFOV image, we propose a focal-masked GAN inversion method to find its latent code by the LDR panorama synthesis branch and then synthesize the HDR panorama by the HDR panorama synthesis branch. StyleLight takes LFOV-to-panorama and LDR-to-HDR lighting generation into a unified framework and thus greatly improves lighting estimation. Extensive experiments demonstrate that our framework achieves superior performance over state-of-the-art methods on indoor lighting estimation. Notably, StyleLight also enables intuitive lighting editing on indoor HDR panoramas, which is suitable for real-world applications. Code is available at https://style-light.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google