Face Animation with an Attribute-Guided Diffusion Model

要約

タイトル：属性誘導拡散モデルによる表情アニメーション

要約：

– コンピュータビジョンにおいて、表情アニメーションは大きな進歩を成し遂げている。
– しかしながら、従来のGANベースの方法は、複雑な動き変形による不自然な歪みやアーティファクトに苦しんでいる。
– 本論文では、属性誘導拡散モデルを利用したFace Animation Framework（FADM）を提案する。
– FADMは、フォトリアルなトーキングヘッド生成のために、拡散モデルの優れたモデリング能力を初めて利用した作品である。
– 拡散モデルの合成効果を制御するために、粗いアニメーション特徴と3D顔再構成結果を自由に組み合わせる属性誘導コンディショニングネットワーク（AGCN）を設計した。
– これらの特定の設計は、FADMが不自然なアーティファクトと歪みを補正し、正確なアニメーション属性で反復的な拡散改良を行うことによって、高品質の顔の詳細を豊富にするのに役立つ。
– FADMは、既存のアニメーションビデオを柔軟かつ効果的に改善することができる。
– 広範なトーキングヘッドベンチマークでの大規模な実験により、FADMの有効性が先行研究よりも優れていることが確認された。

要約(オリジナル)

Face animation has achieved much progress in computer vision. However, prevailing GAN-based methods suffer from unnatural distortions and artifacts due to sophisticated motion deformation. In this paper, we propose a Face Animation framework with an attribute-guided Diffusion Model (FADM), which is the first work to exploit the superior modeling capacity of diffusion models for photo-realistic talking-head generation. To mitigate the uncontrollable synthesis effect of the diffusion model, we design an Attribute-Guided Conditioning Network (AGCN) to adaptively combine the coarse animation features and 3D face reconstruction results, which can incorporate appearance and motion conditions into the diffusion process. These specific designs help FADM rectify unnatural artifacts and distortions, and also enrich high-fidelity facial details through iterative diffusion refinements with accurate animation attributes. FADM can flexibly and effectively improve existing animation videos. Extensive experiments on widely used talking-head benchmarks validate the effectiveness of FADM over prior arts.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI