3D Cartoon Face Generation with Controllable Expressions from a Single GAN Image

要約

この論文では、単一の2D GAN生成された人間の顔から3D監督なしで3D漫画の顔の形を生成するというオープンな研究タスクを調査し、3D形状の表情を操作することもできます。
この目的のために、スタイルガンの潜在スペースの意味的な意味を発見し、潜在コードを制御することにより、さまざまな表現、ポーズ、照明条件の顔の画像を作成できるようにします。
具体的には、最初に、漫画データセットの前提条件のスタイルガンフェイスモデルを微調整します。
同じ潜在的なコードを顔を合わせて漫画生成モデルに供給することにより、2Dの人間の顔の画像から漫画スタイルのアバターへの翻訳を実現することを目指しています。
次に、元のアイデンティティを維持しながら表情を変えようとするために、Gan潜在空間の意味的な方向を発見します。
漫画の顔に3D注釈がないため、潜在コードを操作して、さまざまなポーズと照明条件を持つ画像を生成し、3D漫画の顔の形を再構築できるようにします。
3つの漫画データセットでのメソッドの有効性を定性的かつ定量的に検証します。

要約(オリジナル)

In this paper, we investigate an open research task of generating 3D cartoon face shapes from single 2D GAN generated human faces and without 3D supervision, where we can also manipulate the facial expressions of the 3D shapes. To this end, we discover the semantic meanings of StyleGAN latent space, such that we are able to produce face images of various expressions, poses, and lighting conditions by controlling the latent codes. Specifically, we first finetune the pretrained StyleGAN face model on the cartoon datasets. By feeding the same latent codes to face and cartoon generation models, we aim to realize the translation from 2D human face images to cartoon styled avatars. We then discover semantic directions of the GAN latent space, in an attempt to change the facial expressions while preserving the original identity. As we do not have any 3D annotations for cartoon faces, we manipulate the latent codes to generate images with different poses and lighting conditions, such that we can reconstruct the 3D cartoon face shapes. We validate the efficacy of our method on three cartoon datasets qualitatively and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google