DreamHead: Learning Spatial-Temporal Correspondence via Hierarchical Diffusion for Audio-driven Talking Head Synthesis

要約

オーディオ駆動トーキング ヘッド合成は、提供されたオーディオから本物のようなビデオ ポートレートを生成することを目指しています。
優れた品質と堅牢な一般化が認められている拡散モデルが、このタスクのために研究されてきました。
ただし、拡散モデルを使用して、時間的な音声キューと対応する空間的な表情との間の堅牢な対応を確立することは、トーキング ヘッド生成における重大な課題のままです。
このギャップを埋めるために、モデルの本質的な品質と適応性を損なうことなく、トーキング ヘッド合成における時空間対応を学習する階層型拡散フレームワークである DreamHead を紹介します。~DreamHead は、空間的および適応性をモデル化するための中間信号としての音声から密集した顔のランドマークを予測することを学習します。
具体的には、オーディオからランドマークへの拡散の最初の階層は、オーディオ シーケンス信号が与えられた場合に、時間的に滑らかで正確なランドマーク シーケンスを予測するように最初に設計されます。
次に、密集した顔のランドマークと外観の間の空間的対応をモデル化することにより、空間的に一貫した顔のポートレートビデオを生成するために、ランドマークから画像への拡散の第 2 階層がさらに提案されます。
広範な実験により、提案された DreamHead が、設計された階層的拡散による時空間的一貫性を効果的に学習し、複数のアイデンティティに対して高忠実度のオーディオ駆動トーキング ヘッド ビデオを生成できることが示されました。

要約(オリジナル)

Audio-driven talking head synthesis strives to generate lifelike video portraits from provided audio. The diffusion model, recognized for its superior quality and robust generalization, has been explored for this task. However, establishing a robust correspondence between temporal audio cues and corresponding spatial facial expressions with diffusion models remains a significant challenge in talking head generation. To bridge this gap, we present DreamHead, a hierarchical diffusion framework that learns spatial-temporal correspondences in talking head synthesis without compromising the model’s intrinsic quality and adaptability.~DreamHead learns to predict dense facial landmarks from audios as intermediate signals to model the spatial and temporal correspondences.~Specifically, a first hierarchy of audio-to-landmark diffusion is first designed to predict temporally smooth and accurate landmark sequences given audio sequence signals. Then, a second hierarchy of landmark-to-image diffusion is further proposed to produce spatially consistent facial portrait videos, by modeling spatial correspondences between the dense facial landmark and appearance. Extensive experiments show that proposed DreamHead can effectively learn spatial-temporal consistency with the designed hierarchical diffusion and produce high-fidelity audio-driven talking head videos for multiple identities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google