AniFaceGAN: Animatable 3D-Aware Face Image Generation for Video Avatars

要約

2D 生成モデルは、顔画像の生成とアニメーションにおいて大きな進歩を遂げましたが、異なるカメラ視点からの画像をレンダリングするときに、3D の不一致などの望ましくないアーティファクトに悩まされることがよくあります。
これにより、実際のものと見分けがつかないビデオ アニメーションを合成することができなくなります。
最近、3D 認識 GAN は 2D GAN を拡張し、3D シーン表現を活用してカメラのポーズを明示的に解きほぐします。
これらの方法は、異なるビュー間で生成された画像の 3D 一貫性を十分に維持できますが、他の属性をきめ細かく制御することはできません。その中でも、顔の表情の制御は、間違いなく顔のアニメーションにとって最も有用で望ましいものです。
この論文では、マルチビューの一貫した顔アニメーション生成のためのアニメーション化可能な 3D 認識 GAN を提案します。
重要なアイデアは、3D 認識 GAN の 3D 表現をテンプレート フィールドと変形フィールドに分解することです。前者は正規表現で異なるアイデンティティを表し、後者は各アイデンティティの表現バリエーションを特徴付けます。
変形による表情の意味のある制御を実現するために、3D 認識 GAN の敵対的トレーニング中に、ジェネレーターとパラメトリック 3D 顔モデルの間の 3D レベルの模倣学習スキームを提案します。
これにより、構造化されていない 2D 画像のみでトレーニングされた場合でも、ビジュアル 3D の一貫性が高い高品質のアニメーション可能な顔画像を生成することができます。
広範な実験により、以前の研究よりも優れたパフォーマンスが実証されています。
プロジェクトページ：https://yuewuhkust.github.io/AniFaceGAN

要約(オリジナル)

Although 2D generative models have made great progress in face image generation and animation, they often suffer from undesirable artifacts such as 3D inconsistency when rendering images from different camera viewpoints. This prevents them from synthesizing video animations indistinguishable from real ones. Recently, 3D-aware GANs extend 2D GANs for explicit disentanglement of camera pose by leveraging 3D scene representations. These methods can well preserve the 3D consistency of the generated images across different views, yet they cannot achieve fine-grained control over other attributes, among which facial expression control is arguably the most useful and desirable for face animation. In this paper, we propose an animatable 3D-aware GAN for multiview consistent face animation generation. The key idea is to decompose the 3D representation of the 3D-aware GAN into a template field and a deformation field, where the former represents different identities with a canonical expression, and the latter characterizes expression variations of each identity. To achieve meaningful control over facial expressions via deformation, we propose a 3D-level imitative learning scheme between the generator and a parametric 3D face model during adversarial training of the 3D-aware GAN. This helps our method achieve high-quality animatable face image generation with strong visual 3D consistency, even though trained with only unstructured 2D images. Extensive experiments demonstrate our superior performance over prior works. Project page: https://yuewuhkust.github.io/AniFaceGAN

arxiv情報

提供元, 利用サービス

arxiv.jp, Google