Expressive Talking Head Video Encoding in StyleGAN2 Latent-Space

要約

ビデオの再現に関する研究の最近の進歩は有望な結果をもたらしましたが、そのアプローチは、生成に不可欠な細かく詳細で表現力豊かな顔の特徴 (唇を押す、口をすぼめる、口を大きく開ける、しわなど) をキャプチャするには不十分です。
リアルなアニメーションの顔のビデオ。
この目的のために、単一のアイデンティティ潜在の低次元編集を最適化することにより、データ効率の高い高品質のビデオ再合成を容易にする、エンドツーエンドの表現力豊かな顔ビデオ エンコーディング アプローチを提案します。
このアプローチは、StyleGAN2 画像反転と多段階の非線形潜在空間編集に基づいて構築されており、入力ビデオにほぼ匹敵するビデオを生成します。
既存の StyleGAN 潜在ベースの編集技術は、静止画像のもっともらしい編集を生成することに重点を置いていますが、潜在空間編集を自動化して、Style-latent-space (
StyleGAN2 の StyleSpace)。
このようにして得られたエンコーディングは、$1024^2$ で顔ビデオの再現を容易にするために、単一の Identity-latent に重ね合わせることができます。
提案されたフレームワークは、顔の同一性、頭のポーズ、および複雑な表現力豊かな顔の動きを細かいレベルで経済的にキャプチャし、それによってトレーニング、人物モデリング、ランドマーク/キーポイントへの依存、およびほとんどの再現アプローチを妨げる傾向がある低解像度の合成をバイパスします。
このアプローチは、最大のデータ効率で設計されており、単一の $W+$ 潜在変数とフレームあたり 35 のパラメーターにより、忠実度の高いビデオ レンダリングが可能になります。
このパイプラインは、人形遣い (つまり、モーション転送) にも使用できます。

要約(オリジナル)

While the recent advances in research on video reenactment have yielded promising results, the approaches fall short in capturing the fine, detailed, and expressive facial features (e.g., lip-pressing, mouth puckering, mouth gaping, and wrinkles) which are crucial in generating realistic animated face videos. To this end, we propose an end-to-end expressive face video encoding approach that facilitates data-efficient high-quality video re-synthesis by optimizing low-dimensional edits of a single Identity-latent. The approach builds on StyleGAN2 image inversion and multi-stage non-linear latent-space editing to generate videos that are nearly comparable to input videos. While existing StyleGAN latent-based editing techniques focus on simply generating plausible edits of static images, we automate the latent-space editing to capture the fine expressive facial deformations in a sequence of frames using an encoding that resides in the Style-latent-space (StyleSpace) of StyleGAN2. The encoding thus obtained could be super-imposed on a single Identity-latent to facilitate re-enactment of face videos at $1024^2$. The proposed framework economically captures face identity, head-pose, and complex expressive facial motions at fine levels, and thereby bypasses training, person modeling, dependence on landmarks/ keypoints, and low-resolution synthesis which tend to hamper most re-enactment approaches. The approach is designed with maximum data efficiency, where a single $W+$ latent and 35 parameters per frame enable high-fidelity video rendering. This pipeline can also be used for puppeteering (i.e., motion transfer).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google