Perceptually Accurate 3D Talking Head Generation: New Definitions, Speech-Mesh Representation, and Evaluation Metrics

要約

音声駆動型の3Dトーキングヘッド生成における最近の進歩により、唇の同期が大幅に進歩しました。
ただし、既存のモデルは、さまざまな音声特性と対応する唇の動きとの間の知覚的アライメントを捉えるのに苦労しています。
この作業では、3つの基準 – 時間的同期、唇の読みやすさ、表現力 – が、知覚的に正確な唇の動きを達成するために重要であると主張しています。
これらの3つの基準を満たすために望ましい表現スペースが存在するという仮説によって動機付けられて、音声信号と3Dフェイスメッシュの間の複雑な対応をキャプチャする音声メッシュ同期表現を導入します。
学習した表現は望ましい特性を示すことがわかりました。また、既存のモデルにプラグインして知覚的損失として、唇の動きを与えられたスピーチに合わせてより適切に整列させます。
さらに、この表現を知覚メトリックとして利用し、他の2つの物理的に接地したリップ同期メトリックを導入して、生成された3Dトーキングヘッドがこれらの3つの基準にどれだけ整合するかを評価します。
実験では、知覚的損失を伴う3Dトーキングヘッド生成モデルのトレーニングは、知覚的に正確なリップ同期の3つの側面すべてを大幅に改善することを示しています。
コードとデータセットは、https：//perceptual-3d-talking-head.github.io/で入手できます。

要約(オリジナル)

Recent advancements in speech-driven 3D talking head generation have made significant progress in lip synchronization. However, existing models still struggle to capture the perceptual alignment between varying speech characteristics and corresponding lip movements. In this work, we claim that three criteria — Temporal Synchronization, Lip Readability, and Expressiveness — are crucial for achieving perceptually accurate lip movements. Motivated by our hypothesis that a desirable representation space exists to meet these three criteria, we introduce a speech-mesh synchronized representation that captures intricate correspondences between speech signals and 3D face meshes. We found that our learned representation exhibits desirable characteristics, and we plug it into existing models as a perceptual loss to better align lip movements to the given speech. In addition, we utilize this representation as a perceptual metric and introduce two other physically grounded lip synchronization metrics to assess how well the generated 3D talking heads align with these three criteria. Experiments show that training 3D talking head generation models with our perceptual loss significantly improve all three aspects of perceptually accurate lip synchronization. Codes and datasets are available at https://perceptual-3d-talking-head.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google