PERSE: Personalized 3D Generative Avatars from A Single Portrait

要約

参照ポートレートからアニメーション化可能な個人化された生成アバターを構築する方法である PERSE を紹介します。
当社のアバター モデルは、個人のアイデンティティを維持しながら、連続的でもつれのない潜在空間での顔属性の編集を可能にし、各顔属性を制御します。
これを達成するために、私たちの手法は大規模な合成 2D ビデオ データセットを合成することから始めます。各ビデオには、元の入力からの特定の顔属性の変化と組み合わせた、顔の表情と視点の一貫した変化が含まれています。
私たちは、顔属性編集を備えた高品質でフォトリアリスティックな 2D ビデオを生成するための新しいパイプラインを提案します。
この合成属性データセットを活用して、3D ガウス スプラッティングに基づくパーソナライズされたアバター作成方法を提示し、直感的な顔属性操作のために連続的でもつれのない潜在空間を学習します。
この潜在空間でスムーズな遷移を強制するために、補間された 2D 面を監視として使用することによる潜在空間正則化手法を導入します。
以前のアプローチと比較して、PERSE が参照人物のアイデンティティを維持しながら、補間された属性を持つ高品質のアバターを生成することを示します。

要約(オリジナル)

We present PERSE, a method for building an animatable personalized generative avatar from a reference portrait. Our avatar model enables facial attribute editing in a continuous and disentangled latent space to control each facial attribute, while preserving the individual’s identity. To achieve this, our method begins by synthesizing large-scale synthetic 2D video datasets, where each video contains consistent changes in the facial expression and viewpoint, combined with a variation in a specific facial attribute from the original input. We propose a novel pipeline to produce high-quality, photorealistic 2D videos with facial attribute editing. Leveraging this synthetic attribute dataset, we present a personalized avatar creation method based on the 3D Gaussian Splatting, learning a continuous and disentangled latent space for intuitive facial attribute manipulation. To enforce smooth transitions in this latent space, we introduce a latent space regularization technique by using interpolated 2D faces as supervision. Compared to previous approaches, we demonstrate that PERSE generates high-quality avatars with interpolated attributes while preserving identity of reference person.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google