A Comprehensive Review of Data-Driven Co-Speech Gesture Generation

要約

タイトル：データ駆動型共話ジェスチャー生成の包括的レビュー

要約：
– 共話ジェスチャーは、自然で効率的な人のコミュニケーションの重要な部分であり、コンピューターアニメーション、映画、ゲーム、バーチャルソーシャルスペース、社会的ロボットとの相互作用において、有効な技術と考えられている。
– 人の共話ジェスチャー運動の特異的で非周期的な性質、そしてジェスチャーが包含するコミュニケーション機能の多様性によって、この問題は困難になっている。
– ジェスチャー生成は、より多く、より大きな人間のジェスチャー運動のデータセットが現れ、深層学習ベースの生成モデルが利用可能になったことにより、最近注目を集めている。
– 本稿は、特に深層生成モデルに焦点を当て、共話ジェスチャー生成の研究をまとめたものである。
– 最初に、人間の手振りについての理論と、それがスピーチを補完する方法について述べる。
– 次に、ルールベースのおよび伝統的な統計的ジェスチャー合成について簡単に説明し、それから深層学習手法に突入する。
– 入力モダリティの選択を組織化の原理として用い、音声、テキスト、非言語的入力からジェスチャーを生成するシステムを検討する。
– 移動品質、収集方法、多様性、サイズなどの関連するトレーニングデータセットの発展を綴る。
– 最後に、データの可用性や品質、人間らしい動作の生成、相互作用などのリサーチチャレンジを識別し、ジェスチャー合成のアプリケーションへの統合、及び評価を行う事を紹介する。
– これらの課題に対する最近のアプローチを強調し、これらのアプローチの制限を指摘し、今後の開発の領域を指向する。

要約(オリジナル)

Gestures that accompany speech are an essential part of natural and efficient embodied human communication. The automatic generation of such co-speech gestures is a long-standing problem in computer animation and is considered an enabling technology in film, games, virtual social spaces, and for interaction with social robots. The problem is made challenging by the idiosyncratic and non-periodic nature of human co-speech gesture motion, and by the great diversity of communicative functions that gestures encompass. Gesture generation has seen surging interest recently, owing to the emergence of more and larger datasets of human gesture motion, combined with strides in deep-learning-based generative models, that benefit from the growing availability of data. This review article summarizes co-speech gesture generation research, with a particular focus on deep generative models. First, we articulate the theory describing human gesticulation and how it complements speech. Next, we briefly discuss rule-based and classical statistical gesture synthesis, before delving into deep learning approaches. We employ the choice of input modalities as an organizing principle, examining systems that generate gestures from audio, text, and non-linguistic input. We also chronicle the evolution of the related training data sets in terms of size, diversity, motion quality, and collection method. Finally, we identify key research challenges in gesture generation, including data availability and quality; producing human-like motion; grounding the gesture in the co-occurring speech in interaction with other speakers, and in the environment; performing gesture evaluation; and integration of gesture synthesis into applications. We highlight recent approaches to tackling the various key challenges, as well as the limitations of these approaches, and point toward areas of future development.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI