Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance

要約

3D 顔モデリングは、コンピューター ビジョンとコンピューター グラフィックスの分野で活発に研究されており、仮想アバターでの顔の表情の転送から合成データの生成まで、さまざまなアプリケーションを促進しています。
既存の 3D ディープ ラーニング生成モデル (VAE、GAN など) を使用すると、コンパクトな顔表現 (形状とテクスチャの両方) を生成できます。これにより、形状と外観空間の非線形性 (散乱効果、鏡面反射など) をモデル化できます。
ただし、微妙な表現の生成を制御する機能はありません。
この論文では、アイデンティティと表現を分離し、表現をきめ細かく制御できる新しい 3D 顔生成モデルを提案します。
特に、教師あり自動エンコーダーと生成的敵対ネットワークのペアを使用して、外観と形状の両方の点で高品質の 3D 顔を生成することを提案します。
全体論的表現ラベルまたはアクション ユニット ラベルで学習した 3D 顔の生成における実験結果は、アイデンティティと表現を切り離す方法を示しています。
アイデンティティを維持しながら、表現を細かく制御できます。

要約(オリジナル)

3D face modeling has been an active area of research in computer vision and computer graphics, fueling applications ranging from facial expression transfer in virtual avatars to synthetic data generation. Existing 3D deep learning generative models (e.g., VAE, GANs) allow generating compact face representations (both shape and texture) that can model non-linearities in the shape and appearance space (e.g., scatter effects, specularities, etc.). However, they lack the capability to control the generation of subtle expressions. This paper proposes a new 3D face generative model that can decouple identity and expression and provides granular control over expressions. In particular, we propose using a pair of supervised auto-encoder and generative adversarial networks to produce high-quality 3D faces, both in terms of appearance and shape. Experimental results in the generation of 3D faces learned with holistic expression labels, or Action Unit labels, show how we can decouple identity and expression; gaining fine-control over expressions while preserving identity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google