G3FA: Geometry-guided GAN for Face Animation

要約

人間の顔画像をアニメーション化することは、運転ビデオの顔の動きを模倣して、自然に見える方法で目的のソース ID を合成することを目的としています。
これに関連して、敵対的生成ネットワークは、単一のソース画像を使用したリアルタイムの顔の再現において顕著な可能性を示していますが、グラフィックベースのアプローチと比較すると、ジオメトリの一貫性が制限されているという制約があります。
このペーパーでは、この制限に対処するために、顔アニメーション用のジオメトリガイド付き GAN (G3FA) を紹介します。
私たちの新しいアプローチにより、2D 画像のみを使用して顔アニメーション モデルに 3D 情報を組み込むことができるようになり、トーキング ヘッド合成モデルの画像生成機能が向上します。
インバース レンダリング技術を統合して 3D 顔のジオメトリ プロパティを抽出し、識別器の加重平均アンサンブルを通じてジェネレーターへのフィードバック ループを改善します。
私たちの顔再現モデルでは、2D モーション ワーピングを利用してモーション ダイナミクスをキャプチャし、直交レイ サンプリングとボリューム レンダリング技術を併用して、究極のビジュアル出力を生成します。
G3FA のパフォーマンスを評価するために、VoxCeleb2 および TalkingHead ベンチマークでさまざまな評価プロトコルを使用した包括的な実験を実施し、最先端のリアルタイム顔アニメーション手法と比較して、提案したフレームワークの有効性を実証しました。

要約(オリジナル)

Animating human face images aims to synthesize a desired source identity in a natural-looking way mimicking a driving video’s facial movements. In this context, Generative Adversarial Networks have demonstrated remarkable potential in real-time face reenactment using a single source image, yet are constrained by limited geometry consistency compared to graphic-based approaches. In this paper, we introduce Geometry-guided GAN for Face Animation (G3FA) to tackle this limitation. Our novel approach empowers the face animation model to incorporate 3D information using only 2D images, improving the image generation capabilities of the talking head synthesis model. We integrate inverse rendering techniques to extract 3D facial geometry properties, improving the feedback loop to the generator through a weighted average ensemble of discriminators. In our face reenactment model, we leverage 2D motion warping to capture motion dynamics along with orthogonal ray sampling and volume rendering techniques to produce the ultimate visual output. To evaluate the performance of our G3FA, we conducted comprehensive experiments using various evaluation protocols on VoxCeleb2 and TalkingHead benchmarks to demonstrate the effectiveness of our proposed framework compared to the state-of-the-art real-time face animation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google