FaceDiffuser: Speech-Driven 3D Facial Animation Synthesis Using Diffusion

要約

音声駆動の 3D 顔アニメーション合成は、業界でも研究でも困難な課題でした。
最近の手法は主に決定論的な深層学習手法に焦点を当てており、音声入力が与えられると、出力は常に同じになります。
しかし、実際には、顔全体に存在する非言語的な顔の合図は、本質的に非決定的です。
さらに、アプローチの大部分は 3D 頂点ベースのデータセットに焦点を当てており、リグ付きキャラクターを含む既存の顔アニメーション パイプラインと互換性のあるメソッドはほとんどありません。
これらの問題を解決するために、3D 頂点とブレンドシェイプ ベースのデータセットの両方でトレーニングされた音声駆動の顔アニメーションを生成する非決定論的な深層学習モデルである FaceDiffuser を紹介します。
私たちの方法は拡散技術に基づいており、事前にトレーニングされた大規模音声表現モデル HuBERT を使用してオーディオ入力をエンコードします。
私たちの知る限り、音声駆動の 3D 顔アニメーション合成のタスクに拡散法を採用したのは私たちが初めてです。
私たちは広範な客観的および主観的な分析を実行し、私たちのアプローチが最先端の方法と比較してより良い、または同等の結果を達成することを示しました。
また、ブレンドシェイプ ベースのリグ キャラクタに基づく新しい社内データセットも導入します。
付属の補足ビデオをご覧になることをお勧めします。
コードとデータセットは一般に公開されます。

要約(オリジナル)

Speech-driven 3D facial animation synthesis has been a challenging task both in industry and research. Recent methods mostly focus on deterministic deep learning methods meaning that given a speech input, the output is always the same. However, in reality, the non-verbal facial cues that reside throughout the face are non-deterministic in nature. In addition, majority of the approaches focus on 3D vertex based datasets and methods that are compatible with existing facial animation pipelines with rigged characters is scarce. To eliminate these issues, we present FaceDiffuser, a non-deterministic deep learning model to generate speech-driven facial animations that is trained with both 3D vertex and blendshape based datasets. Our method is based on the diffusion technique and uses the pre-trained large speech representation model HuBERT to encode the audio input. To the best of our knowledge, we are the first to employ the diffusion method for the task of speech-driven 3D facial animation synthesis. We have run extensive objective and subjective analyses and show that our approach achieves better or comparable results in comparison to the state-of-the-art methods. We also introduce a new in-house dataset that is based on a blendshape based rigged character. We recommend watching the accompanying supplementary video. The code and the dataset will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google