ConvoFusion: Multi-Modal Conversational Diffusion for Co-Speech Gesture Synthesis

要約

ジェスチャーは人間のコミュニケーションにおいて重要な役割を果たします。
同時音声ジェスチャ生成のための最近の方法は、ビートに合わせたモーションを生成することはできますが、意味的に発話と一致するジェスチャを生成するのに苦労しています。
オーディオ信号に自然に一致するビート ジェスチャと比較して、意味的に一貫したジェスチャは、言語と人間の動きの間の複雑な相互作用をモデル化する必要があり、特定の単語に焦点を当てることで制御できます。
したがって、マルチモーダル ジェスチャ合成のための拡散ベースのアプローチである ConvoFusion を紹介します。これは、マルチモーダル音声入力に基づいてジェスチャを生成できるだけでなく、ジェスチャ合成の制御性も容易にすることができます。
私たちの方法は、ユーザーがさまざまな条件付け様式（例：音声とテキスト）の影響を調整したり、ジェスチャー中に強調する特定の単語を選択したりできるようにする 2 つのガイダンス目標を提案します。
私たちの方法は、独白ジェスチャーまたは会話ジェスチャーのいずれかを生成するためにトレーニングできるという点で多用途です。
マルチパーティのインタラクティブ ジェスチャに関する研究をさらに進めるために、DnD グループ ジェスチャ データセットがリリースされました。これには、5 人が相互に対話する様子を示す 6 時間のジェスチャ データが含まれています。
私たちの方法をいくつかの最近の研究と比較し、さまざまなタスクに対する私たちの方法の有効性を実証します。
読者の皆様には、当社の Web サイトにある補足ビデオをご覧になることをお勧めします。

要約(オリジナル)

Gestures play a key role in human communication. Recent methods for co-speech gesture generation, while managing to generate beat-aligned motions, struggle generating gestures that are semantically aligned with the utterance. Compared to beat gestures that align naturally to the audio signal, semantically coherent gestures require modeling the complex interactions between the language and human motion, and can be controlled by focusing on certain words. Therefore, we present ConvoFusion, a diffusion-based approach for multi-modal gesture synthesis, which can not only generate gestures based on multi-modal speech inputs, but can also facilitate controllability in gesture synthesis. Our method proposes two guidance objectives that allow the users to modulate the impact of different conditioning modalities (e.g. audio vs text) as well as to choose certain words to be emphasized during gesturing. Our method is versatile in that it can be trained either for generating monologue gestures or even the conversational gestures. To further advance the research on multi-party interactive gestures, the DnD Group Gesture dataset is released, which contains 6 hours of gesture data showing 5 people interacting with one another. We compare our method with several recent works and demonstrate effectiveness of our method on a variety of tasks. We urge the reader to watch our supplementary video at our website.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google