EverLight: Indoor-Outdoor Editable HDR Lighting Estimation

要約

タイトル：EverLight：室内外編集可能なHDR照明推定
要約：
– 照明環境の多様性のため、既存の照明推定技術は室内または屋外環境に明示的に設計されている。
– これまでの研究では、正確なエネルギーのキャプチャ（パラメトリック照明モデルを通じたものなど）や、適切な反射を出すための画像生成技術（GANs）が重視され、簡略化されたライティングモデル上に編集可能な照明機能を提供する手法が提案されているが、実制度に限界がある。
– 本研究では、これらの最近の傾向を結びつけた方法を提案する。正確なパラメトリックライトモデルを360度パノラマに組み合わせて、レンダリングエンジンで使用できるHDRIとして使用できるようにする。
– 最近のGANに基づくLDRパノラマ推定の進歩を利用し、パラメトリック球面ガウス関数を使用してHDRに拡張する。
– このために、照明関連の特徴を生成器全体に注入する新しいライティング共調方法を導入し、元のまたは編集されたシーンの照明を360度パノラマ生成プロセスに密接に結合させる。
– ユーザーは、ライト方向、強度、数などを簡単に編集でき、影響を与えながら、複雑で豊富な反射を提供し、編集とシームレスにブレンドできる。
– さらに、本手法は室内外環境を包括しており、ドメイン固有の手法と比較しても、最先端の結果を示している。

要約(オリジナル)

Because of the diversity in lighting environments, existing illumination estimation techniques have been designed explicitly on indoor or outdoor environments. Methods have focused specifically on capturing accurate energy (e.g., through parametric lighting models), which emphasizes shading and strong cast shadows; or producing plausible texture (e.g., with GANs), which prioritizes plausible reflections. Approaches which provide editable lighting capabilities have been proposed, but these tend to be with simplified lighting models, offering limited realism. In this work, we propose to bridge the gap between these recent trends in the literature, and propose a method which combines a parametric light model with 360{\deg} panoramas, ready to use as HDRI in rendering engines. We leverage recent advances in GAN-based LDR panorama extrapolation from a regular image, which we extend to HDR using parametric spherical gaussians. To achieve this, we introduce a novel lighting co-modulation method that injects lighting-related features throughout the generator, tightly coupling the original or edited scene illumination within the panorama generation process. In our representation, users can easily edit light direction, intensity, number, etc. to impact shading while providing rich, complex reflections while seamlessly blending with the edits. Furthermore, our method encompasses indoor and outdoor environments, demonstrating state-of-the-art results even when compared to domain-specific methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI