PVP: Personalized Video Prior for Editable Dynamic Portraits using StyleGAN

要約

ポートレート合成により、ユーザーが魅力的な方法で他のユーザーと対話できるリアルなデジタル アバターが作成されます。
StyleGAN とその拡張機能の最近の進歩により、人間の顔の写真のようにリアルで正確な再構成の合成において有望な結果が得られています。
ただし、これまでの手法は正面顔の合成に焦点を当てていることが多く、StyleGAN の学習データの分散により、頭の大きな回転を処理できない手法がほとんどでした。
この作業での目標は、顔の単眼ビデオを入力として取得し、極端な頭のポーズに対応できる編集可能な動的なポートレートを作成することです。
ユーザーは、新しい視点を作成し、外観を編集し、顔をアニメーション化することができます。
私たちの方法は、ピボットチューニングインバージョン（PTI）を利用して、単眼ビデオシーケンスから事前にパーソナライズされたビデオを学習します。
次に、ポーズと表情の係数を MLP に入力し、潜在ベクトルを操作して、被写体のさまざまな視点と表情を合成します。
また、潜在空間における姿勢と表現をさらに解きほぐすための新しい損失関数も提案します。
私たちのアルゴリズムは、単眼ビデオ データセットに対する以前のアプローチよりもはるかに優れたパフォーマンスを示し、RTX 3080 上で 54 FPS でリアルタイムで実行することもできます。

要約(オリジナル)

Portrait synthesis creates realistic digital avatars which enable users to interact with others in a compelling way. Recent advances in StyleGAN and its extensions have shown promising results in synthesizing photorealistic and accurate reconstruction of human faces. However, previous methods often focus on frontal face synthesis and most methods are not able to handle large head rotations due to the training data distribution of StyleGAN. In this work, our goal is to take as input a monocular video of a face, and create an editable dynamic portrait able to handle extreme head poses. The user can create novel viewpoints, edit the appearance, and animate the face. Our method utilizes pivotal tuning inversion (PTI) to learn a personalized video prior from a monocular video sequence. Then we can input pose and expression coefficients to MLPs and manipulate the latent vectors to synthesize different viewpoints and expressions of the subject. We also propose novel loss functions to further disentangle pose and expression in the latent space. Our algorithm shows much better performance over previous approaches on monocular video datasets, and it is also capable of running in real-time at 54 FPS on an RTX 3080.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google