Learning Semantic Facial Descriptors for Accurate Face Animation

要約

フェイスアニメーションは挑戦的な作業です。
既存のモデルベースの方法（3DMMSまたはランドマークを利用）により、多くの場合、モデルのような再構成効果が発生しますが、これはアイデンティティを効果的に保持しません。
逆に、モデルのないアプローチは、分離された意味的に豊富な特徴空間を達成する上で課題に直面しているため、正確なモーション転送を達成するのが困難になります。
ジレンマに対処するために、学習可能な解読可能な拡張されたベクトル空間でセマンティックフェイシャル記述子を紹介します。
このアプローチでは、顔の空間をアイデンティティと動きの部分に切り離しながら、完全な直交基底ベクターを学習することにより、それぞれをセマンティクスで吸い込みます。
ソースおよび駆動面にエンコーダーを使用して基底ベクトル係数を取得し、アイデンティティおよび動きのサブスペースで効果的なフェイシャル記述子になります。
最終的に、これらの記述子は、顔をアニメーション化するための潜在コードとして再結合することができます。
私たちのアプローチは、モデルベースの方法の高忠実度のアイデンティティにおける制限の問題と、正確なモーション転送におけるモデルのないメソッドが直面する課題に成功しています。
広範な実験は、3つの挑戦的なベンチマーク（つまり、Voxceleb、HDTF、CELEBV）で実施されます。
包括的な定量的および定性的な結果は、私たちのモデルが優れたアイデンティティの保存と動き転送でSOTAメソッドを上回ることを示しています。

要約(オリジナル)

Face animation is a challenging task. Existing model-based methods (utilizing 3DMMs or landmarks) often result in a model-like reconstruction effect, which doesn’t effectively preserve identity. Conversely, model-free approaches face challenges in attaining a decoupled and semantically rich feature space, thereby making accurate motion transfer difficult to achieve. We introduce the semantic facial descriptors in learnable disentangled vector space to address the dilemma. The approach involves decoupling the facial space into identity and motion subspaces while endowing each of them with semantics by learning complete orthogonal basis vectors. We obtain basis vector coefficients by employing an encoder on the source and driving faces, leading to effective facial descriptors in the identity and motion subspaces. Ultimately, these descriptors can be recombined as latent codes to animate faces. Our approach successfully addresses the issue of model-based methods’ limitations in high-fidelity identity and the challenges faced by model-free methods in accurate motion transfer. Extensive experiments are conducted on three challenging benchmarks (i.e. VoxCeleb, HDTF, CelebV). Comprehensive quantitative and qualitative results demonstrate that our model outperforms SOTA methods with superior identity preservation and motion transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google