Relighting from a Single Image: Datasets and Deep Intrinsic-based Architecture

要約

単一イメージ シーンの再ライティングは、入力イメージが新しいターゲット ライト条件によって照らされているように見えるように、入力イメージのリアルな新しいバージョンを生成することを目的としています。
既存の研究ではこの問題をさまざまな観点から調査してきましたが、任意の光条件下でリライト画像を生成することは依然として非常に困難であり、関連するデータセットは不足しています。
私たちの研究は、データセットと方法論の両方の観点からこの問題に取り組んでいます。
私たちは 2 つの新しいデータセットを提案します。1 つは固有コンポーネントのグラウンド トゥルースを含む合成データセット、もう 1 つは実験室条件下で収集された実際のデータセットです。
これらのデータセットにより、既存のデータセットの不足が軽減されます。
再照明パイプラインに物理的な一貫性を組み込むために、固有の分解に基づいて 2 段階のネットワークを確立し、中間ステップで出力を提供することで、物理的な制約を導入します。
トレーニング セットに固有の分解のグラウンド トゥルースが欠けている場合、教師なしモジュールを導入して、固有の出力が満足のいくものであることを確認します。
既存のデータセットと新しく開発したデータセットの両方でテストしたところ、私たちの手法はパフォーマンスにおいて最先端の手法を上回っています。
さらに、合成データセットを使用して私たちのメソッドまたは他の以前のメソッドを事前トレーニングすると、他のデータセットでのパフォーマンスを向上させることができます。
私たちの方法はあらゆる光条件に対応できるため、アニメーションの結果を生成できます。
データセット、メソッド、ビデオは公開されています。

要約(オリジナル)

Single image scene relighting aims to generate a realistic new version of an input image so that it appears to be illuminated by a new target light condition. Although existing works have explored this problem from various perspectives, generating relit images under arbitrary light conditions remains highly challenging, and related datasets are scarce. Our work addresses this problem from both the dataset and methodological perspectives. We propose two new datasets: a synthetic dataset with the ground truth of intrinsic components and a real dataset collected under laboratory conditions. These datasets alleviate the scarcity of existing datasets. To incorporate physical consistency in the relighting pipeline, we establish a two-stage network based on intrinsic decomposition, giving outputs at intermediate steps, thereby introducing physical constraints. When the training set lacks ground truth for intrinsic decomposition, we introduce an unsupervised module to ensure that the intrinsic outputs are satisfactory. Our method outperforms the state-of-the-art methods in performance, as tested on both existing datasets and our newly developed datasets. Furthermore, pretraining our method or other prior methods using our synthetic dataset can enhance their performance on other datasets. Since our method can accommodate any light conditions, it is capable of producing animated results. The dataset, method, and videos are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google