DiffTalk: Crafting Diffusion Models for Generalized Talking Head Synthesis

要約

トーキング ヘッド合成は、ビデオ制作業界にとって有望なアプローチです。
最近、この研究分野では、生成の品質を改善したり、モデルの一般化を強化したりするために多くの努力が払われてきました。
ただし、実用化に不可欠な両方の問題を同時に解決できる研究はほとんどありません。
この目的のために、この論文では、新たに出現した強力な潜在拡散モデルに注目し、トーキング ヘッドの生成をオーディオ主導の時間的にコヒーレントなノイズ除去プロセス (DiffTalk) としてモデル化します。
具体的には、単一の駆動要因として音声信号を使用する代わりに、話している顔の制御メカニズムを調査し、参照顔画像とランドマークをパーソナリティを考慮した一般化合成の条件として組み込みます。
このように、提案された DiffTalk は、ソース オーディオと同期して高品質のトーキング ヘッド ビデオを生成することができます。さらに重要なことは、さらに微調整することなく、さまざまなアイデンティティ間で自然に一般化できることです。
さらに、当社の DiffTalk は、わずかな追加の計算コストで高解像度の合成に合わせて適切に調整できます。
広範な実験により、提案された DiffTalk が、一般化された新しいアイデンティティーのために、忠実度の高いオーディオ主導のトーキング ヘッド ビデオを効率的に合成することが示されています。
ビデオの結果の詳細については、このデモンストレーション \url{https://cloud.tsinghua.edu.cn/f/e13f5aad2f4c4f898ae7/} を参照してください。

要約(オリジナル)

Talking head synthesis is a promising approach for the video production industry. Recently, a lot of effort has been devoted in this research area to improve the generation quality or enhance the model generalization. However, there are few works able to address both issues simultaneously, which is essential for practical applications. To this end, in this paper, we turn attention to the emerging powerful Latent Diffusion Models, and model the Talking head generation as an audio-driven temporally coherent denoising process (DiffTalk). More specifically, instead of employing audio signals as the single driving factor, we investigate the control mechanism of the talking face, and incorporate reference face images and landmarks as conditions for personality-aware generalized synthesis. In this way, the proposed DiffTalk is capable of producing high-quality talking head videos in synchronization with the source audio, and more importantly, it can be naturally generalized across different identities without any further fine-tuning. Additionally, our DiffTalk can be gracefully tailored for higher-resolution synthesis with negligible extra computational cost. Extensive experiments show that the proposed DiffTalk efficiently synthesizes high-fidelity audio-driven talking head videos for generalized novel identities. For more video results, please refer to this demonstration \url{https://cloud.tsinghua.edu.cn/f/e13f5aad2f4c4f898ae7/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google