Portrait4D: Learning One-Shot 4D Head Avatar Synthesis using Synthetic Data

要約

既存の一発4次元頭部合成法は、通常、3DMM再構成の助けを借りて単眼映像から学習するが、後者は難易度が高く、合理的な4次元頭部合成には限界がある。本研究では、大規模な合成データを用いてワンショット4D頭部合成を学習する方法を提案する。まず、敵対的学習により、単眼画像から部分ごとの4D生成モデルを学習し、多様なアイデンティティとフルモーションの多視点画像を学習データとして合成する。次に、変換器ベースのアニメーション可能な3平面再構成器を活用し、合成データを用いて4D頭部再構成を学習する。3D再構成と再現の学習過程を分離することで、実画像への汎化性を高める新しい学習戦略を導入している。実験により、先行技術に対する優位性が実証された。

要約(オリジナル)

Existing one-shot 4D head synthesis methods usually learn from monocular videos with the aid of 3DMM reconstruction, yet the latter is evenly challenging which restricts them from reasonable 4D head synthesis. We present a method to learn one-shot 4D head synthesis via large-scale synthetic data. The key is to first learn a part-wise 4D generative model from monocular images via adversarial learning, to synthesize multi-view images of diverse identities and full motions as training data; then leverage a transformer-based animatable triplane reconstructor to learn 4D head reconstruction using the synthetic data. A novel learning strategy is enforced to enhance the generalizability to real images by disentangling the learning process of 3D reconstruction and reenactment. Experiments demonstrate our superiority over the prior art.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL