Generating Holistic 3D Human Motion from Speech

要約

この作業は、人間の音声から 3D の全体的な身体の動きを生成する問題に対処します。
スピーチの録音が与えられると、リアルで多様な 3D の身体のポーズ、手のジェスチャー、顔の表情のシーケンスを合成します。
これを実現するために、まず、同期音声を使用した 3D ホリスティック ボディ メッシュの高品質データセットを構築します。
次に、顔、体、手を別々にモデル化する新しい音声からモーションへの生成フレームワークを定義します。
分離されたモデリングは、顔のアーティキュレーションが人間の発話と強く相関しているのに対し、体のポーズと手のジェスチャーはあまり相関していないという事実に由来します。
具体的には、顔の動きにはオートエンコーダーを採用し、体と手の動きには合成ベクトル量子化変分オートエンコーダー (VQ-VAE) を採用しています。
組成 VQ-VAE は、多様な結果を生成するための鍵です。
さらに、体のポーズと手のジェスチャーを生成する相互条件付き自己回帰モデルを提案し、一貫性のある現実的な動きに導きます。
広範な実験とユーザー調査により、提案されたアプローチが質的にも量的にも最先端のパフォーマンスを達成することが実証されています。
新しいデータセットとコードは、https://talkshow.is.tue.mpg.de で研究目的でリリースされます。

要約(オリジナル)

This work addresses the problem of generating 3D holistic body motions from human speech. Given a speech recording, we synthesize sequences of 3D body poses, hand gestures, and facial expressions that are realistic and diverse. To achieve this, we first build a high-quality dataset of 3D holistic body meshes with synchronous speech. We then define a novel speech-to-motion generation framework in which the face, body, and hands are modeled separately. The separated modeling stems from the fact that face articulation strongly correlates with human speech, while body poses and hand gestures are less correlated. Specifically, we employ an autoencoder for face motions, and a compositional vector-quantized variational autoencoder (VQ-VAE) for the body and hand motions. The compositional VQ-VAE is key to generating diverse results. Additionally, we propose a cross-conditional autoregressive model that generates body poses and hand gestures, leading to coherent and realistic motions. Extensive experiments and user studies demonstrate that our proposed approach achieves state-of-the-art performance both qualitatively and quantitatively. Our novel dataset and code will be released for research purposes at https://talkshow.is.tue.mpg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google