Local Relighting of Real Scenes

要約

我々は、画像内に見える光源のオン・オフを切り替えることで、シーンの写真を変化させる局所再照明というタスクを導入する。この新しいタスクは、光源を検出し、そこから発せられる光のパターンを推測するという課題を導入しているため、従来の画像再照明問題とは異なっている。我々は、新規画像データセットの監視なしに、別のモデルから合成的に生成された画像ペアを用いてモデルを学習する、局所再照明へのアプローチを提案する。具体的には、スタイル空間を操作したGANからペアの学習画像を収集し、これらの画像を用いて条件付き画像間モデルを学習する。局所再照明を評価するために、屋内空間で異なる照明の組み合わせで撮影された306枚の精密に位置合わせされた画像のコレクションであるLonoffを紹介する。本手法は、GAN反転に基づくベースライン手法を大幅に上回る性能を持つことが示された。最後に、異なる光源を個別に制御する我々の手法の拡張を示す。我々は、この局所的な再照明という新しいタスクに取り組むことをコミュニティに呼びかける。

要約(オリジナル)

We introduce the task of local relighting, which changes a photograph of a scene by switching on and off the light sources that are visible within the image. This new task differs from the traditional image relighting problem, as it introduces the challenge of detecting light sources and inferring the pattern of light that emanates from them. We propose an approach for local relighting that trains a model without supervision of any novel image dataset by using synthetically generated image pairs from another model. Concretely, we collect paired training images from a stylespace-manipulated GAN; then we use these images to train a conditional image-to-image model. To benchmark local relighting, we introduce Lonoff, a collection of 306 precisely aligned images taken in indoor spaces with different combinations of lights switched on. We show that our method significantly outperforms baseline methods based on GAN inversion. Finally, we demonstrate extensions of our method that control different light sources separately. We invite the community to tackle this new task of local relighting.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL