Learning to Generate Conditional Tri-plane for 3D-aware Expression Controllable Portrait Animation

要約

このペーパーでは、特定のポートレート画像の顔の表情とカメラビューを制御できる、ワンショットの 3D 対応ポートレート アニメーション手法である Export3D を紹介します。
これを実現するために、3DMM の表現パラメータをソース画像に転送することで、事前に 3D のトライプレーンを直接生成する、効果的な表現条件付け手法を備えたトライプレーン ジェネレータを導入します。
次に、トライプレーンは、微分可能なボリューム レンダリングを通じて、異なるビューの画像にデコードされます。
既存のポートレートアニメーション手法は、動き空間に表現を移すために画像のワーピングに大きく依存しており、外観と表現のもつれを解くことに挑戦しています。
対照的に、我々は、外観のない表現パラメータのための対照的な事前トレーニングフレームワークを提案し、相互同一性表現を転送する際の望ましくない外観の交換を排除します。
広範な実験により、事前トレーニング フレームワークが 3DMM に隠された外観のない表現表現を学習でき、モデルがアイデンティティ間で外観を交換することなく 3D を認識した表現制御可能なポートレート画像を生成できることが示されました。

要約(オリジナル)

In this paper, we present Export3D, a one-shot 3D-aware portrait animation method that is able to control the facial expression and camera view of a given portrait image. To achieve this, we introduce a tri-plane generator with an effective expression conditioning method, which directly generates a tri-plane of 3D prior by transferring the expression parameter of 3DMM into the source image. The tri-plane is then decoded into the image of different view through a differentiable volume rendering. Existing portrait animation methods heavily rely on image warping to transfer the expression in the motion space, challenging on disentanglement of appearance and expression. In contrast, we propose a contrastive pre-training framework for appearance-free expression parameter, eliminating undesirable appearance swap when transferring a cross-identity expression. Extensive experiments show that our pre-training framework can learn the appearance-free expression representation hidden in 3DMM, and our model can generate 3D-aware expression controllable portrait images without appearance swap in the cross-identity manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google