EAMM: One-Shot Emotional Talking Face via Audio-Based Emotion-Aware Motion Model

要約

オーディオ駆動の話し顔の生成には大きな進歩がありましたが、既存の方法は顔の感情を無視しているか、任意の被験者に適用できません。
この論文では、感情ソースビデオを使用してワンショットの感情的な話し顔を生成するための感情認識モーションモデル (EAMM) を提案します。
具体的には、最初にAudio2Facial-Dynamicsモジュールを提案します。これは、音声駆動の教師なしゼロおよび1次キーポイントモーションから話している顔をレンダリングします。
次に、モーションモデルのプロパティを調査することにより、感情に関連する顔のダイナミクスを、以前に取得したモーション表現への線形加算変位として表す暗黙的感情変位学習器をさらに提案します。
包括的な実験は、両方のモジュールからの結果を組み込むことにより、現実的な感情パターンを持つ任意の被験者に対して満足のいく会話顔結果を生成できることを示しています。

要約(オリジナル)

Although significant progress has been made to audio-driven talking face generation, existing methods either neglect facial emotion or cannot be applied to arbitrary subjects. In this paper, we propose the Emotion-Aware Motion Model (EAMM) to generate one-shot emotional talking faces by involving an emotion source video. Specifically, we first propose an Audio2Facial-Dynamics module, which renders talking faces from audio-driven unsupervised zero- and first-order key-points motion. Then through exploring the motion model’s properties, we further propose an Implicit Emotion Displacement Learner to represent emotion-related facial dynamics as linearly additive displacements to the previously acquired motion representations. Comprehensive experiments demonstrate that by incorporating the results from both modules, our method can generate satisfactory talking face results on arbitrary subjects with realistic emotion patterns.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google