Learning Landmarks Motion from Speech for Speaker-Agnostic 3D Talking Heads Generation

要約

この論文では、生のオーディオ入力から 3D トーキング ヘッドを生成するための新しいアプローチを紹介します。
私たちの方法は、顔の可動部分、つまりランドマーク上にあるいくつかの制御点の動きによって、音声に関連した動きが包括的かつ効率的に記述できるという考えに基づいています。
基礎となる筋骨格構造により、その動きが顔全体の幾何学的変形にどのような影響を与えるかを知ることができます。
提案された方法は、この目的のために 2 つの異なるモデルを採用しています。1 つ目は、与えられた音声からまばらなランドマークのセットの動きを生成することを学習します。
2 番目のモデルは、そのようなランドマークの動きを高密度の動きフィールドに拡張し、これを利用して、ニュートラル状態で特定の 3D メッシュをアニメーション化します。
さらに、生成された動きベクトルとグラウンド トゥルースの動きベクトルの間の角度を最小化する、コサイン損失という新しい損失関数を導入します。
3D トーキング ヘッドの生成でランドマークを使用すると、一貫性、信頼性、手動による注釈の不要さなど、さまざまな利点が得られます。
私たちのアプローチはアイデンティティに依存しないように設計されており、追加のデータやトレーニングを必要とせずに、あらゆるユーザーに高品質の顔のアニメーションを可能にします。

要約(オリジナル)

This paper presents a novel approach for generating 3D talking heads from raw audio inputs. Our method grounds on the idea that speech related movements can be comprehensively and efficiently described by the motion of a few control points located on the movable parts of the face, i.e., landmarks. The underlying musculoskeletal structure then allows us to learn how their motion influences the geometrical deformations of the whole face. The proposed method employs two distinct models to this aim: the first one learns to generate the motion of a sparse set of landmarks from the given audio. The second model expands such landmarks motion to a dense motion field, which is utilized to animate a given 3D mesh in neutral state. Additionally, we introduce a novel loss function, named Cosine Loss, which minimizes the angle between the generated motion vectors and the ground truth ones. Using landmarks in 3D talking head generation offers various advantages such as consistency, reliability, and obviating the need for manual-annotation. Our approach is designed to be identity-agnostic, enabling high-quality facial animations for any users without additional data or training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google