SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces

要約

ポートレートリライティング用拡散モデル「SynthLight」をご紹介します。
私たちのアプローチは、画像の再照明を、環境照明条件の変化に応じてピクセルが変換される再レンダリングの問題として組み立てます。
物理ベースのレンダリング エンジンを使用してデータセットを合成し、さまざまな照明の下で 3D 頭部アセットを使用したこの照明条件付き変換をシミュレートします。
合成画像領域と実際の画像領域の間のギャップを埋めるための 2 つのトレーニングおよび推論戦略を提案します。(1) 照明ラベルなしで実際の人間のポートレートを利用するマルチタスク トレーニング。
(2) 入力ポートレートを活用して詳細をより適切に保存する、分類子を使用しないガイダンスに基づく推論時間拡散サンプリング手順。
私たちの方法は、さまざまな実際の写真に一般化され、被写体のアイデンティティを維持しながら、鏡面ハイライトやキャストシャドウなどのリアルな照明効果を生成します。
Light Stage データに関する当社の定量的実験では、最先端の再照明方法に匹敵する結果が実証されています。
野生の画像に関する当社の定性的な結果は、豊かで前例のない照明効果を示しています。
プロジェクトページ: \url{https://vrroom.github.io/synthlight/}

要約(オリジナル)

We introduce SynthLight, a diffusion model for portrait relighting. Our approach frames image relighting as a re-rendering problem, where pixels are transformed in response to changes in environmental lighting conditions. Using a physically-based rendering engine, we synthesize a dataset to simulate this lighting-conditioned transformation with 3D head assets under varying lighting. We propose two training and inference strategies to bridge the gap between the synthetic and real image domains: (1) multi-task training that takes advantage of real human portraits without lighting labels; (2) an inference time diffusion sampling procedure based on classifier-free guidance that leverages the input portrait to better preserve details. Our method generalizes to diverse real photographs and produces realistic illumination effects, including specular highlights and cast shadows, while preserving the subject’s identity. Our quantitative experiments on Light Stage data demonstrate results comparable to state-of-the-art relighting methods. Our qualitative results on in-the-wild images showcase rich and unprecedented illumination effects. Project Page: \url{https://vrroom.github.io/synthlight/}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google