LightLab: Controlling Light Sources in Images with Diffusion Models

要約

画像内の光源に対するきめの細かいパラメトリック制御のためのシンプルでありながら効果的な拡散ベースの方法を提示します。
既存の再生方法は、複数の入力ビューに依存して、推論時間に逆レンダリングを実行するか、光の変化を明示的に制御できません。
私たちのメソッドは、再ライトのためにそのフォトリアリスティックな事前を誘発するために、規模に合成的にレンダリングされた画像によって補足された、実際の生の写真ペアの小さなセットの拡散モデルを微調整します。
光の直線性を活用して、ターゲット光源または周囲照明のいずれかの制御された光の変化を示す画像ペアを合成します。
このデータと適切な微調整スキームを使用して、光の強度と色を明示的に制御して、正確な照明変更のモデルをトレーニングします。
最後に、私たちの方法が魅力的な軽い編集結果を達成する方法を示し、ユーザーの好みに基づいて既存のメソッドを上回ることを示します。

要約(オリジナル)

We present a simple, yet effective diffusion-based method for fine-grained, parametric control over light sources in an image. Existing relighting methods either rely on multiple input views to perform inverse rendering at inference time, or fail to provide explicit control over light changes. Our method fine-tunes a diffusion model on a small set of real raw photograph pairs, supplemented by synthetically rendered images at scale, to elicit its photorealistic prior for relighting. We leverage the linearity of light to synthesize image pairs depicting controlled light changes of either a target light source or ambient illumination. Using this data and an appropriate fine-tuning scheme, we train a model for precise illumination changes with explicit control over light intensity and color. Lastly, we show how our method can achieve compelling light editing results, and outperforms existing methods based on user preference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google