Learning One-Shot 4D Head Avatar Synthesis using Synthetic Data

要約

既存のワンショット 4D 頭部合成方法は通常、3DMM 再構築を利用して単眼ビデオから学習しますが、後者は均等に困難であり、合理的な 4D 頭部合成が制限されます。
大規模な合成データを介してワンショット 4D 頭部合成を学習する方法を紹介します。
重要なのは、まず敵対的学習によって単眼画像から部分的な 4D 生成モデルを学習し、多様なアイデンティティとフルモーションの多視点画像をトレーニング データとして合成することです。
次に、トランスフォーマーベースのアニメーション化可能なトライプレーン再構成機能を利用して、合成データを使用して 4D 頭部再構成を学習します。
3D 再構成と再現の学習プロセスを解きほぐすことで、実際の画像への一般化可能性を高めるために、新しい学習戦略が適用されます。
実験により、従来技術に対する本発明の優位性が実証された。

要約(オリジナル)

Existing one-shot 4D head synthesis methods usually learn from monocular videos with the aid of 3DMM reconstruction, yet the latter is evenly challenging which restricts them from reasonable 4D head synthesis. We present a method to learn one-shot 4D head synthesis via large-scale synthetic data. The key is to first learn a part-wise 4D generative model from monocular images via adversarial learning, to synthesize multi-view images of diverse identities and full motions as training data; then leverage a transformer-based animatable triplane reconstructor to learn 4D head reconstruction using the synthetic data. A novel learning strategy is enforced to enhance the generalizability to real images by disentangling the learning process of 3D reconstruction and reenactment. Experiments demonstrate our superiority over the prior art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google