DiFaReli : Diffusion Face Relighting

要約

タイトル：DiFaReli：拡散フェイスリライティング
要約：
– 一般的に、グローバルなイルミネーションやキャストシャドウなどの非拡散効果を扱うことは、フェイスリライティングにおいて長年の課題であった。
– 以前の研究では、ランバーディアン表面、簡略化されたライティングモデル、または3D形状、アルベド、またはシャドーマップを推定することが含まれており、これらの推定は誤りを生じることがあるため、多くのトレーニング例が必要であった。
– この研究では、固有の要素の正確な推定の必要性を回避し、ライトステージデータ、マルチビューイメージ、またはライティンググラウンドトゥルースなしで、単一ビューの顔リライトモデルを訓練できる新しいアプローチを提案する。
– 鍵となるアイディアは、デコーディングのために条件付けられた拡散暗黙のモデル（DDIM）を利用して、オフザシェルフエスティメータで推定された3D形状や顔のアイデンティティに関連するエンコーディングと一緒に、分離されたライトエンコーディングを取り入れることである。
– この研究では、レンダリングされたシェーディング参照を使用してDDIMを空間的に調整する新しい調整技術を提案して、ライトとジオメトリの複雑な相互作用をモデリングすることができる。
– 標準的なベンチマークマルチPIEで最先端の性能を実現し、野外の画像を写実的にリライトすることができる。詳細はこちらのページを参照してください：https://diffusion-face-relighting.github.io

要約(オリジナル)

We present a novel approach to single-view face relighting in the wild. Handling non-diffuse effects, such as global illumination or cast shadows, has long been a challenge in face relighting. Prior work often assumes Lambertian surfaces, simplified lighting models or involves estimating 3D shape, albedo, or a shadow map. This estimation, however, is error-prone and requires many training examples with lighting ground truth to generalize well. Our work bypasses the need for accurate estimation of intrinsic components and can be trained solely on 2D images without any light stage data, multi-view images, or lighting ground truth. Our key idea is to leverage a conditional diffusion implicit model (DDIM) for decoding a disentangled light encoding along with other encodings related to 3D shape and facial identity inferred from off-the-shelf estimators. We also propose a novel conditioning technique that eases the modeling of the complex interaction between light and geometry by using a rendered shading reference to spatially modulate the DDIM. We achieve state-of-the-art performance on standard benchmark Multi-PIE and can photorealistically relight in-the-wild images. Please visit our page: https://diffusion-face-relighting.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI