Learning Landmarks Motion from Speech for Speaker-Agnostic 3D Talking Heads Generation

要約

本論文では、生の音声入力から3Dトーキングヘッドを生成するための新しいアプローチを紹介する。本手法は、発話に関連する動きは、顔の可動部、すなわちランドマークに位置する少数の制御点の動きによって、包括的かつ効率的に記述できるという考えに基づいている。そして、その根底にある筋骨格系の構造から、その動きが顔全体の幾何学的変形にどのような影響を与えるかを知ることができる。提案手法は、この目的のために2つの異なるモデルを採用している。1つ目のモデルは、与えられた音声からランドマークの疎な集合の動きを生成することを学習するものである。2つ目のモデルは、このようなランドマークの動きを密な動き場に拡張し、中立状態の与えられた3Dメッシュをアニメーションさせるために利用される。さらに、コサインロスという新しい損失関数を導入し、生成されたモーションベクトルとグランドトゥルースベクトルの間の角度を最小化する。3Dトーキングヘッド生成においてランドマークを使用することで、一貫性、信頼性、手動によるアノテーションの必要性の排除など、様々な利点が得られる。本アプローチは、IDに依存しないように設計されており、追加データやトレーニングなしで、あらゆるユーザーの高品質なフェイシャルアニメーションを可能にする。

要約(オリジナル)

This paper presents a novel approach for generating 3D talking heads from raw audio inputs. Our method grounds on the idea that speech related movements can be comprehensively and efficiently described by the motion of a few control points located on the movable parts of the face, i.e., landmarks. The underlying musculoskeletal structure then allows us to learn how their motion influences the geometrical deformations of the whole face. The proposed method employs two distinct models to this aim: the first one learns to generate the motion of a sparse set of landmarks from the given audio. The second model expands such landmarks motion to a dense motion field, which is utilized to animate a given 3D mesh in neutral state. Additionally, we introduce a novel loss function, named Cosine Loss, which minimizes the angle between the generated motion vectors and the ground truth ones. Using landmarks in 3D talking head generation offers various advantages such as consistency, reliability, and obviating the need for manual-annotation. Our approach is designed to be identity-agnostic, enabling high-quality facial animations for any users without additional data or training.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL