DiFaReli: Diffusion Face Relighting

要約

タイトル：DiFaReli: ディフュージョン・フェイス・リライティング
要約：

– 自然な環境下において、単一視点でのフェイス・リライティングに新しいアプローチを提案する。
– フェイス・リライティングについて、大域照明やキャストシャドウといった非拡散効果を扱うことは長年の課題である。
– 従来の研究では、ランバート面、簡略化された照明モデル、または3D形状、反射率、シャドウマップの推定に関わるものが多かった。しかしこの形状・反射率・シャドウマップの推定は誤りが起こり、良好な汎用性を得るためには多数の照明正解データを必要とする。
– 弊社の研究では、内在的な成分の正確な推定を回避し、光学インプレッションなどのライトステージ・データ、マルチビュー・イメージ、または照明正解データなしに、単に2Dイメージだけを使用してトレーニングを行うことができる特許出願中の技術を発表する。
– キーとなる考え方は、分散光エンコーディングをデコードするために、他のエンコーディング（現場正面のエスティメータなど）とともに、条件付き拡散暗黙モデル（DDIM）を利用することである。
– 複雑な光とジオメトリの相互作用をモデル化するための新しい条件付け技術を提案し、描画されたシェーディング基準を使用してDDIMを空間的に変調する。
– 弊社は、標準的なベンチマークMulti-PIEで最先端のパフォーマンスを発揮し、自然環境下の画像をフォトリアルに再照明することができる。詳細は、弊社のページをご覧ください：https://diffusion-face-relighting.github.io

要約(オリジナル)

We present a novel approach to single-view face relighting in the wild. Handling non-diffuse effects, such as global illumination or cast shadows, has long been a challenge in face relighting. Prior work often assumes Lambertian surfaces, simplified lighting models or involves estimating 3D shape, albedo, or a shadow map. This estimation, however, is error-prone and requires many training examples with lighting ground truth to generalize well. Our work bypasses the need for accurate estimation of intrinsic components and can be trained solely on 2D images without any light stage data, multi-view images, or lighting ground truth. Our key idea is to leverage a conditional diffusion implicit model (DDIM) for decoding a disentangled light encoding along with other encodings related to 3D shape and facial identity inferred from off-the-shelf estimators. We also propose a novel conditioning technique that eases the modeling of the complex interaction between light and geometry by using a rendered shading reference to spatially modulate the DDIM. We achieve state-of-the-art performance on standard benchmark Multi-PIE and can photorealistically relight in-the-wild images. Please visit our page: https://diffusion-face-relighting.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI