EMO: Emote Portrait Alive — Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions

要約

この研究では、オーディオ キューと顔の動きの間の動的かつ微妙な関係に焦点を当て、トーキング ヘッド ビデオ生成におけるリアリズムと表現力を向上させるという課題に取り組みました。
私たちは、人間の表情の全領域や個々の顔のスタイルの独自性を捉えることができないことが多い伝統的な技術の限界を特定します。
これらの問題に対処するために、中間 3D モデルや顔のランドマークの必要性を回避し、オーディオからビデオへの直接合成アプローチを利用する新しいフレームワークである EMO を提案します。
私たちの方法では、ビデオ全体でシームレスなフレーム遷移と一貫したアイデンティティの保持が保証され、その結果、非常に表現力豊かでリアルなアニメーションが得られます。
実験結果は、EMO が説得力のあるスピーキングビデオだけでなく、さまざまなスタイルの歌唱ビデオも作成でき、表現力とリアリズムの点で既存の最先端の方法論を大幅に上回っていることを示しています。

要約(オリジナル)

In this work, we tackle the challenge of enhancing the realism and expressiveness in talking head video generation by focusing on the dynamic and nuanced relationship between audio cues and facial movements. We identify the limitations of traditional techniques that often fail to capture the full spectrum of human expressions and the uniqueness of individual facial styles. To address these issues, we propose EMO, a novel framework that utilizes a direct audio-to-video synthesis approach, bypassing the need for intermediate 3D models or facial landmarks. Our method ensures seamless frame transitions and consistent identity preservation throughout the video, resulting in highly expressive and lifelike animations. Experimental results demonsrate that EMO is able to produce not only convincing speaking videos but also singing videos in various styles, significantly outperforming existing state-of-the-art methodologies in terms of expressiveness and realism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google