Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation

要約

人物のポートレート画像とターゲット照明の環境マップが与えられた場合、ポートレート リライティングは、あたかもその人物がターゲット照明のある環境に現れたかのように、画像内の人物を再照明することを目的としています。
高品質の結果を得るために、最近の方法は深層学習に依存しています。
効果的なアプローチは、ライト ステージでキャプチャされた、目的の入出力ペアの忠実度の高いデータセットを使用して、ディープ ニューラル ネットワークのトレーニングを監視することです。
ただし、そのようなデータを取得するには、高価な特別なキャプチャ リグと時間のかかる作業が必要であり、限られた機知に富んだラボにしかアクセスできません。
この制限に対処するために、ライト ステージを必要とせずに最先端の (SOTA) リライティング メソッドと同等のパフォーマンスを発揮できる新しいアプローチを提案します。
私たちのアプローチは、ポートレート画像の再照明が成功するかどうかは 2 つの条件に依存するという認識に基づいています。
まず、この方法は、物理ベースのリライティングの動作を模倣する必要があります。
第二に、出力は写真のようにリアルでなければなりません。
最初の条件を満たすために、さまざまな環境マップの下でさまざまな 3D 合成人間に対して物理ベースのレンダリングを実行する仮想ライト ステージによって生成されたトレーニング データを使用して、リライティング ネットワークをトレーニングすることを提案します。
2 番目の条件を満たすために、再照明ネットワーク出力にフォトリアリズムをもたらすための新しい合成から現実へのアプローチを開発します。
SOTAの結果を達成することに加えて、私たちのアプローチは、メガネの制御可能なグレアやビデオの再照明のためのより時間的に一貫した結果など、以前の方法よりもいくつかの利点を提供します。

要約(オリジナル)

Given a portrait image of a person and an environment map of the target lighting, portrait relighting aims to re-illuminate the person in the image as if the person appeared in an environment with the target lighting. To achieve high-quality results, recent methods rely on deep learning. An effective approach is to supervise the training of deep neural networks with a high-fidelity dataset of desired input-output pairs, captured with a light stage. However, acquiring such data requires an expensive special capture rig and time-consuming efforts, limiting access to only a few resourceful laboratories. To address the limitation, we propose a new approach that can perform on par with the state-of-the-art (SOTA) relighting methods without requiring a light stage. Our approach is based on the realization that a successful relighting of a portrait image depends on two conditions. First, the method needs to mimic the behaviors of physically-based relighting. Second, the output has to be photorealistic. To meet the first condition, we propose to train the relighting network with training data generated by a virtual light stage that performs physically-based rendering on various 3D synthetic humans under different environment maps. To meet the second condition, we develop a novel synthetic-to-real approach to bring photorealism to the relighting network output. In addition to achieving SOTA results, our approach offers several advantages over the prior methods, including controllable glares on glasses and more temporally-consistent results for relighting videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google