DiffusionRig: Learning Personalized Priors for Facial Appearance Editing

要約

タイトル：DiffusionRig ：ファシャル・アピアランス編集のためのパーソナライズド・プライオリティ学習

要約：

– 20枚程度の同じ人物の肖像写真から、個人ごとの顔の優先度を学習する問題に取り組んでいる。
– DiffusionRigは、通常の顔推定器によって推定された単一の野生の画像から抽出した2つの単純な3D顔モデルによって条件付けされた拡散モデルです。
– 次に、DiffusionRigは、大量の顔データセットから汎用の顔プライオリティを学習し、その後、関心のある人物の小規模な肖像写真コレクションから個人ごとの優先度を学習します。
– DiffusionRigは、パーソナライズされた優先度でCGI-to-photoマッピングを学習することによって、肖像写真の照明、表情、頭の位置などを単純な3Dモデルによって条件付けされながら、この人物の特徴を維持することができます。
– 実験で比較した結果、DiffusionRigは、従来のアプローチよりも、身元の維持と写真のリアリズムの両方で優れていることが示されました。
– 詳細は、プロジェクトのウェブサイトを参照してください：https://diffusionrig.github.io。

要約(オリジナル)

We address the problem of learning person-specific facial priors from a small number (e.g., 20) of portrait photos of the same person. This enables us to edit this specific person’s facial appearance, such as expression and lighting, while preserving their identity and high-frequency facial details. Key to our approach, which we dub DiffusionRig, is a diffusion model conditioned on, or ‘rigged by,’ crude 3D face models estimated from single in-the-wild images by an off-the-shelf estimator. On a high level, DiffusionRig learns to map simplistic renderings of 3D face models to realistic photos of a given person. Specifically, DiffusionRig is trained in two stages: It first learns generic facial priors from a large-scale face dataset and then person-specific priors from a small portrait photo collection of the person of interest. By learning the CGI-to-photo mapping with such personalized priors, DiffusionRig can ‘rig’ the lighting, facial expression, head pose, etc. of a portrait photo, conditioned only on coarse 3D models while preserving this person’s identity and other high-frequency characteristics. Qualitative and quantitative experiments show that DiffusionRig outperforms existing approaches in both identity preservation and photorealism. Please see the project website: https://diffusionrig.github.io for the supplemental material, video, code, and data.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI