LightIt: Illumination Modeling and Control for Diffusion Models

要約

画像生成のための明示的な照明制御手法である LightIt を紹介します。
最近の生成方法には、全体的な雰囲気や映画のような外観の設定など、画像生成のさまざまな芸術的側面にとって重要な照明制御がありません。
これらの制限を克服するために、シェーディング マップと法線マップに基づいて生成を条件付けることを提案します。
キャストシャドウを含むシングルバウンスシェーディングを使用して照明をモデル化します。
まずシェーディング推定モジュールをトレーニングして、現実世界の画像とシェーディングのペアのデータセットを生成します。
次に、推定されたシェーディングと法線を入力として使用して制御ネットワークをトレーニングします。
私たちの手法は、さまざまなシーンで高品質の画像生成と照明制御を実証します。
さらに、生成されたデータセットを使用して、画像とターゲット シェーディングに条件付けされた、アイデンティティを保持する再照明モデルをトレーニングします。
私たちの方法は、制御可能で一貫した照明による画像の生成を可能にし、特殊な再照明の最先端の方法と同等の性能を発揮する最初の方法です。

要約(オリジナル)

We introduce LightIt, a method for explicit illumination control for image generation. Recent generative methods lack lighting control, which is crucial to numerous artistic aspects of image generation such as setting the overall mood or cinematic appearance. To overcome these limitations, we propose to condition the generation on shading and normal maps. We model the lighting with single bounce shading, which includes cast shadows. We first train a shading estimation module to generate a dataset of real-world images and shading pairs. Then, we train a control network using the estimated shading and normals as input. Our method demonstrates high-quality image generation and lighting control in numerous scenes. Additionally, we use our generated dataset to train an identity-preserving relighting model, conditioned on an image and a target shading. Our method is the first that enables the generation of images with controllable, consistent lighting and performs on par with specialized relighting state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google