QPGesture: Quantization-Based and Phase-Guided Motion Matching for Natural Speech-Driven Gesture Generation

要約

人間の動作にはランダムなジッターがあるため、音声駆動のジェスチャ生成は非常に困難です。
さらに、人間の音声とジェスチャーの間には本質的に非同期の関係があります。
これらの課題に取り組むために、新しい量子化ベースの位相ガイドされたモーション マッチング フレームワークを導入します。
具体的には、最初に、意味のあるジェスチャ単位を要約するコードブックを学習するためのジェスチャ VQ-VAE モジュールを提示します。
各コードが固有のジェスチャを表すため、ランダムなジッターの問題が効果的に軽減されます。
次に、レーベンシュタイン距離を使用して、さまざまなジェスチャーをさまざまな音声に合わせます。
対応する音声とジェスチャの類似性メトリックとしてのオーディオ量子化に基づくレーベンシュタイン距離は、より適切なジェスチャと音声を一致させるのに役立ち、音声とジェスチャの位置合わせの問題をうまく解決します。
さらに、コンテキストのセマンティクスやオーディオのリズムに基づいて、最適なジェスチャのマッチングをガイドするフェーズを導入します。
生成されたジェスチャをより自然にするために、テキストベースまたは音声ベースのジェスチャをいつ実行する必要があるかをフェーズでガイドします。
広範な実験により、私たちの方法が音声駆動のジェスチャ生成に関する最近のアプローチよりも優れていることが示されています。
コード、データベース、事前トレーニングされたモデル、デモは https://github.com/YoungSeng/QPGesture で入手できます。

要約(オリジナル)

Speech-driven gesture generation is highly challenging due to the random jitters of human motion. In addition, there is an inherent asynchronous relationship between human speech and gestures. To tackle these challenges, we introduce a novel quantization-based and phase-guided motion-matching framework. Specifically, we first present a gesture VQ-VAE module to learn a codebook to summarize meaningful gesture units. With each code representing a unique gesture, random jittering problems are alleviated effectively. We then use Levenshtein distance to align diverse gestures with different speech. Levenshtein distance based on audio quantization as a similarity metric of corresponding speech of gestures helps match more appropriate gestures with speech, and solves the alignment problem of speech and gestures well. Moreover, we introduce phase to guide the optimal gesture matching based on the semantics of context or rhythm of audio. Phase guides when text-based or speech-based gestures should be performed to make the generated gestures more natural. Extensive experiments show that our method outperforms recent approaches on speech-driven gesture generation. Our code, database, pre-trained models, and demos are available at https://github.com/YoungSeng/QPGesture.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google