XAGen: 3D Expressive Human Avatars Generation

要約

3D 対応 GAN モデルの最近の進歩により、リアルで制御可能な人体画像の生成が可能になりました。
しかし、既存の方法は主要な体の関節の制御に焦点を当てており、顔の表情、顎のポーズ、手のポーズなどの表現属性の操作を無視しています。
この研究では、体、顔、手を表現的に制御できる人間アバター用の初の 3D 生成モデルである XAGen を紹介します。
顔や手などの小さなスケール領域の忠実度を高めるために、細かい詳細をモデル化するマルチスケールおよびマルチパーツの 3D 表現を考案しました。
この表現に基づいて、モデルのトレーニングを容易にし、幾何学的品質を向上させるために、体、顔、手の合成を解きほぐすマルチパート レンダリング手法を提案します。
さらに、生成されたアバターの外観ときめ細かい制御機能の品質を評価するマルチパート識別器を設計します。
実験では、XAGen がリアリズム、多様性、表現制御能力の点で最先端の手法を上回っていることが示されています。
コードとデータは https://showlab.github.io/xagen で利用可能になります。

要約(オリジナル)

Recent advances in 3D-aware GAN models have enabled the generation of realistic and controllable human body images. However, existing methods focus on the control of major body joints, neglecting the manipulation of expressive attributes, such as facial expressions, jaw poses, hand poses, and so on. In this work, we present XAGen, the first 3D generative model for human avatars capable of expressive control over body, face, and hands. To enhance the fidelity of small-scale regions like face and hands, we devise a multi-scale and multi-part 3D representation that models fine details. Based on this representation, we propose a multi-part rendering technique that disentangles the synthesis of body, face, and hands to ease model training and enhance geometric quality. Furthermore, we design multi-part discriminators that evaluate the quality of the generated avatars with respect to their appearance and fine-grained control capabilities. Experiments show that XAGen surpasses state-of-the-art methods in terms of realism, diversity, and expressive control abilities. Code and data will be made available at https://showlab.github.io/xagen.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google