LumiNet: Latent Intrinsics Meets Diffusion Models for Indoor Scene Relighting

要約

我々は、効果的な照明転送のために生成モデルと潜在的な固有表現を活用する新しいアーキテクチャであるLumiNetを紹介する。ソース画像とターゲット照明画像が与えられると、LumiNetはターゲットの照明をキャプチャするソースシーンの再照明バージョンを合成します。すなわち、StyleGANベースのリライティングモデルによるデータキュレーション戦略と、ソース画像からの潜在的な固有特性とターゲット画像からの潜在的な外部特性の両方を処理する、改良された拡散ベースのControlNetである。さらに、クロスアテンションとファインチューニングによりターゲットの潜在的な外部特性を注入する学習済みアダプター（MLP）により、照明伝達を改善する。 単一のシーンから条件付きマップを持つ画像を生成する従来のControlNetとは異なり、LumiNetは2つの異なる画像から潜在的な表現を処理します-ターゲットから照明特性を転送しながら、ソースからのジオメトリとアルベドを保持します。実験では、我々の手法が、様々な空間レイアウトや材質を持つシーンにおいて、鏡面ハイライトや間接照明を含む複雑な照明現象の転送に成功し、画像のみを入力とする困難な屋内シーンにおいて、既存のアプローチを凌駕することが実証された。

要約(オリジナル)

We introduce LumiNet, a novel architecture that leverages generative models and latent intrinsic representations for effective lighting transfer. Given a source image and a target lighting image, LumiNet synthesizes a relit version of the source scene that captures the target’s lighting. Our approach makes two key contributions: a data curation strategy from the StyleGAN-based relighting model for our training, and a modified diffusion-based ControlNet that processes both latent intrinsic properties from the source image and latent extrinsic properties from the target image. We further improve lighting transfer through a learned adaptor (MLP) that injects the target’s latent extrinsic properties via cross-attention and fine-tuning. Unlike traditional ControlNet, which generates images with conditional maps from a single scene, LumiNet processes latent representations from two different images – preserving geometry and albedo from the source while transferring lighting characteristics from the target. Experiments demonstrate that our method successfully transfers complex lighting phenomena including specular highlights and indirect illumination across scenes with varying spatial layouts and materials, outperforming existing approaches on challenging indoor scenes using only images as input.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL