DiffusionLight: Light Probes for Free by Painting a Chrome Ball

要約

単一の入力画像内の照明を推定するための、シンプルかつ効果的な手法を紹介します。
現在の技術は、限られた視野の入力を完全な環境マップに回帰するようにニューラル ネットワークをトレーニングするために、HDR パノラマ データセットに大きく依存しています。
ただし、これらのアプローチは、データセットの多様性とサイズが限られているため、現実世界の制御されていない設定では苦労することがよくあります。
この問題に対処するために、数十億の標準画像でトレーニングされた拡散モデルを利用して、クロム ボールを入力画像にレンダリングします。
その単純さにもかかわらず、このタスクは依然として困難です。拡散モデルでは、誤ったオブジェクトや一貫性のないオブジェクトが挿入されることが多く、HDR 形式の画像を容易に生成できません。
私たちの研究により、クロム ボールの外観と初期拡散ノイズ マップとの驚くべき関係が明らかになり、これを利用して高品質のクロム ボールを一貫して生成しています。
LoRA を使用して LDR 拡散モデル (Stable Diffusion XL) をさらに微調整し、HDR 光推定のための露出ブラケットを実行できるようにします。
私たちの方法は、さまざまな設定にわたって説得力のある光の推定値を生成し、実際のシナリオに対する優れた一般化を実証します。

要約(オリジナル)

We present a simple yet effective technique to estimate lighting in a single input image. Current techniques rely heavily on HDR panorama datasets to train neural networks to regress an input with limited field-of-view to a full environment map. However, these approaches often struggle with real-world, uncontrolled settings due to the limited diversity and size of their datasets. To address this problem, we leverage diffusion models trained on billions of standard images to render a chrome ball into the input image. Despite its simplicity, this task remains challenging: the diffusion models often insert incorrect or inconsistent objects and cannot readily generate images in HDR format. Our research uncovers a surprising relationship between the appearance of chrome balls and the initial diffusion noise map, which we utilize to consistently generate high-quality chrome balls. We further fine-tune an LDR difusion model (Stable Diffusion XL) with LoRA, enabling it to perform exposure bracketing for HDR light estimation. Our method produces convincing light estimates across diverse settings and demonstrates superior generalization to in-the-wild scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google