Facial Reenactment Through a Personalized Generator

要約

近年、顔の再現における画像生成モデルの役割は着実に増加しています。
このようなモデルは通常、主題に依存せず、ドメイン全体のデータセットでトレーニングされます。
再現された個人の外観は単一の画像から学習されるため、個人の外観の全範囲が完全には捕捉されず、これらの方法は不誠実な幻覚に頼ることになります。
最近の進歩のおかげで、特定の個人に合わせてカスタマイズされたパーソナライズされた生成モデルをトレーニングすることが可能になりました。
この論文では、パーソナライズされたジェネレーターを使用して顔の再現を行う新しい方法を提案します。
シンプルな市販カメラを使用してキャプチャされた、短くても変化に富んだセルフスキャン ビデオのフレームを使用してジェネレーターをトレーニングします。
パーソナライズされたジェネレーターによって合成された画像は、同一性を保持することが保証されています。
私たちの仕事の前提は、再現の作業が頭のポーズと表情を正確に模倣することだけになるということです。
この目的を達成するために、慎重に設計された潜在的な最適化を使用して、パーソナライズされたジェネレーターの潜在的な空間に目的のフレームを配置します。
広範な評価を通じて、顔の再現において最先端のパフォーマンスを実証します。
さらに、再現は意味論的な潜在空間で行われるため、後処理で意味論的に編集および様式化できることを示します。

要約(オリジナル)

In recent years, the role of image generative models in facial reenactment has been steadily increasing. Such models are usually subject-agnostic and trained on domain-wide datasets. The appearance of the reenacted individual is learned from a single image, and hence, the entire breadth of the individual’s appearance is not entirely captured, leading these methods to resort to unfaithful hallucination. Thanks to recent advancements, it is now possible to train a personalized generative model tailored specifically to a given individual. In this paper, we propose a novel method for facial reenactment using a personalized generator. We train the generator using frames from a short, yet varied, self-scan video captured using a simple commodity camera. Images synthesized by the personalized generator are guaranteed to preserve identity. The premise of our work is that the task of reenactment is thus reduced to accurately mimicking head poses and expressions. To this end, we locate the desired frames in the latent space of the personalized generator using carefully designed latent optimization. Through extensive evaluation, we demonstrate state-of-the-art performance for facial reenactment. Furthermore, we show that since our reenactment takes place in a semantic latent space, it can be semantically edited and stylized in post-processing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google