2D or not 2D: How Does the Dimensionality of Gesture Representation Affect 3D Co-Speech Gesture Generation?

要約

共同スピーチのジェスチャーはコミュニケーションの基本です。
最近の深層学習技術の出現により、身体化された会話エージェントのための本物のような同期した同時音声ジェスチャの作成が容易になりました。
人間の姿勢検出技術を介して YouTube などのプラットフォームからビデオ コンテンツを集約した「In-the-wild」データセットは、音声に合わせた 2D 骨格シーケンスを提供することで実現可能なソリューションを提供します。
リフティング モデルの同時開発により、これらの 2D シーケンスを 3D ジェスチャ データベースに変換できます。
ただし、2D 抽出されたポーズから推定された 3D ポーズは、本質的には 2D 領域に残るグラウンドトゥルースの近似であることに注意することが重要です。
この区別は、ジェスチャ表現の次元が生成されるモーションの品質に及ぼす影響に関する疑問を引き起こしますが、このトピックは、私たちの知る限り、ほとんど解明されていないままです。
私たちの研究では、2D または 3D 関節座標をトレーニング データとして使用した場合の、音声からジェスチャへのディープ生成モデルのパフォーマンスへの影響を調べます。
生成された 2D ポーズ シーケンスを 3D に変換するためにリフティング モデルを採用し、3D で直接作成されたジェスチャが最初に 2D で生成され、その後 3D に変換されたジェスチャとどのように重なるかを評価します。
私たちは、ジェスチャー生成分野で広く使用されている指標を使用した客観的な評価と、さまざまなアプローチを定性的に評価するためのユーザー調査を実行します。

要約(オリジナル)

Co-speech gestures are fundamental for communication. The advent of recent deep learning techniques has facilitated the creation of lifelike, synchronous co-speech gestures for Embodied Conversational Agents. ‘In-the-wild’ datasets, aggregating video content from platforms like YouTube via human pose detection technologies, provide a feasible solution by offering 2D skeletal sequences aligned with speech. Concurrent developments in lifting models enable the conversion of these 2D sequences into 3D gesture databases. However, it is important to note that the 3D poses estimated from the 2D extracted poses are, in essence, approximations of the ground-truth, which remains in the 2D domain. This distinction raises questions about the impact of gesture representation dimensionality on the quality of generated motions – a topic that, to our knowledge, remains largely unexplored. Our study examines the effect of using either 2D or 3D joint coordinates as training data on the performance of speech-to-gesture deep generative models. We employ a lifting model for converting generated 2D pose sequences into 3D and assess how gestures created directly in 3D stack up against those initially generated in 2D and then converted to 3D. We perform an objective evaluation using widely used metrics in the gesture generation field as well as a user study to qualitatively evaluate the different approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google