ScribbleLight: Single Image Indoor Relighting with Scribbles

要約

屋内の部屋の画像ベースの再照明は、空間の没入型の仮想理解を作成し、インテリア デザイン、仮想ステージング、不動産に役立ちます。
単一の画像から屋内の部屋を再照明することは、幾何学的および材料の複雑さの多様性を特徴とする複数のライトと乱雑なオブジェクト間の複雑な照明の相互作用のため、特に困難です。
最近、生成モデルは、詳細な局所照明制御がなくても、ターゲット画像または潜在コードを条件とする画像ベースの再照明に適用されることに成功しました。
このペーパーでは、照明の変化を記述する落書きを通じて照明効果の局所的なきめ細かい制御をサポートする生成モデルである ScribbleLight を紹介します。
当社の主要な技術的新しさは、再照明後に元の画像の固有の色とテクスチャを保持するアルベド条件付き安定画像拡散モデルと、法線マップと落書きの注釈を使用してジオメトリを保持する照明効果を可能にするエンコーダ デコーダ ベースの ControlNet アーキテクチャです。
まばらな落書き注釈からさまざまな照明効果 (ライトのオン/オフ、ハイライトの追加、影の投影、目に見えないライトからの間接照明など) を作成する ScribbleLight の機能を示します。

要約(オリジナル)

Image-based relighting of indoor rooms creates an immersive virtual understanding of the space, which is useful for interior design, virtual staging, and real estate. Relighting indoor rooms from a single image is especially challenging due to complex illumination interactions between multiple lights and cluttered objects featuring a large variety in geometrical and material complexity. Recently, generative models have been successfully applied to image-based relighting conditioned on a target image or a latent code, albeit without detailed local lighting control. In this paper, we introduce ScribbleLight, a generative model that supports local fine-grained control of lighting effects through scribbles that describe changes in lighting. Our key technical novelty is an Albedo-conditioned Stable Image Diffusion model that preserves the intrinsic color and texture of the original image after relighting and an encoder-decoder-based ControlNet architecture that enables geometry-preserving lighting effects with normal map and scribble annotations. We demonstrate ScribbleLight’s ability to create different lighting effects (e.g., turning lights on/off, adding highlights, cast shadows, or indirect lighting from unseen lights) from sparse scribble annotations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google