DAWN: Dynamic Frame Avatar with Non-autoregressive Diffusion Framework for Talking Head Video Generation

要約

トーキング ヘッドの生成は、1 つのポートレートとスピーチ オーディオ クリップから鮮やかでリアルなトーキング ヘッド ビデオを生成することを目的としています。
拡散ベースのトーキングヘッド生成では大きな進歩が見られますが、ほとんどすべての方法は自己回帰戦略に依存しており、現在の生成ステップを超えたコンテキストの利用が制限され、エラーが蓄積され、生成速度が低下するという問題があります。
これらの課題に対処するために、動的長ビデオ シーケンスの一括生成を可能にするフレームワークである DAWN (Dynamic Frame Avatar With Non-autoregressive diffusion) を紹介します。
具体的には、これは 2 つの主要コンポーネントで構成されます: (1) 潜在運動空間でのオーディオ駆動の全体的な顔のダイナミクス生成、および (2) オーディオ駆動の頭のポーズとまばたきの生成。
広範な実験により、私たちの方法により、正確な唇の動きと自然なポーズ/まばたきの動きが本物で鮮やかなビデオが生成されることが実証されました。
さらに、DAWN は生成速度が速く、強力な外挿機能を備えているため、高品質の長時間ビデオを安定して生成できます。
これらの結果は、トーキング ヘッド ビデオ生成の分野における DAWN の大きな可能性と潜在的な影響を浮き彫りにしています。
さらに、DAWN が普及モデルにおける非自己回帰アプローチのさらなる探求を引き起こすことを期待しています。
私たちのコードは https://github.com/Hanbo-Cheng/DAWN-pytorch で公開されます。

要約(オリジナル)

Talking head generation intends to produce vivid and realistic talking head videos from a single portrait and speech audio clip. Although significant progress has been made in diffusion-based talking head generation, almost all methods rely on autoregressive strategies, which suffer from limited context utilization beyond the current generation step, error accumulation, and slower generation speed. To address these challenges, we present DAWN (Dynamic frame Avatar With Non-autoregressive diffusion), a framework that enables all-at-once generation of dynamic-length video sequences. Specifically, it consists of two main components: (1) audio-driven holistic facial dynamics generation in the latent motion space, and (2) audio-driven head pose and blink generation. Extensive experiments demonstrate that our method generates authentic and vivid videos with precise lip motions, and natural pose/blink movements. Additionally, with a high generation speed, DAWN possesses strong extrapolation capabilities, ensuring the stable production of high-quality long videos. These results highlight the considerable promise and potential impact of DAWN in the field of talking head video generation. Furthermore, we hope that DAWN sparks further exploration of non-autoregressive approaches in diffusion models. Our code will be publicly available at https://github.com/Hanbo-Cheng/DAWN-pytorch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google