Evaluating gesture generation in a large-scale open challenge: The GENEA Challenge 2022

要約

この論文では、データ駆動型自動同時音声ジェスチャ生成のベンチマークを目的とした 2 回目の GENEA チャレンジについて報告します。
参加チームは、同じ音声と動作のデータセットを使用して、ジェスチャー生成システムを構築しました。
これらすべてのシステムによって生成されたモーションは、標準化された視覚化パイプラインを使用してビデオにレンダリングされ、クラウドソースによるいくつかの大規模なユーザー調査で評価されました。
異なる研究論文を比較する場合とは異なり、ここでは結果の違いは方法の違いによるもののみであるため、システム間を直接比較できます。
このデータセットは、二者間の会話に参加するさまざまな人物の、指を含む全身モーション キャプチャの 18 時間に基づいています。
10 チームが、全身ジェスチャーと上半身ジェスチャーの 2 段階にわたるチャレンジに参加しました。
各層について、ジェスチャー動作の人間らしさと、特定の音声信号に対するその適切さの両方を評価しました。
私たちの評価は、人間らしさとジェスチャーの適切性を切り離します。これは、この分野では困難な問題でした。
評価結果では、一部の合成ジェスチャ条件が 3D ヒューマン モーション キャプチャよりも大幅に人間らしいと評価されています。
私たちの知る限り、これはこれまで実証されたことがありません。
一方で、すべての合成モーションは、元のモーション キャプチャ記録に比べて音声には大幅に適していないことがわかります。
また、この大規模な評価では、従来の客観的な指標が主観的な人間らしさの評価とうまく相関していないこともわかりました。
1 つの例外は、フレシェ ジェスチャ距離 (FGD) で、約 $-0.5$ の Kendall のタウ ランク相関を達成します。
チャレンジの結果に基づいて、システムの構築と評価に関する多くの推奨事項を策定します。

要約(オリジナル)

This paper reports on the second GENEA Challenge to benchmark data-driven automatic co-speech gesture generation. Participating teams used the same speech and motion dataset to build gesture-generation systems. Motion generated by all these systems was rendered to video using a standardised visualisation pipeline and evaluated in several large, crowdsourced user studies. Unlike when comparing different research papers, differences in results are here only due to differences between methods, enabling direct comparison between systems. The dataset was based on 18 hours of full-body motion capture, including fingers, of different persons engaging in a dyadic conversation. Ten teams participated in the challenge across two tiers: full-body and upper-body gesticulation. For each tier, we evaluated both the human-likeness of the gesture motion and its appropriateness for the specific speech signal. Our evaluations decouple human-likeness from gesture appropriateness, which has been a difficult problem in the field. The evaluation results show some synthetic gesture conditions being rated as significantly more human-like than 3D human motion capture. To the best of our knowledge, this has not been demonstrated before. On the other hand, all synthetic motion is found to be vastly less appropriate for the speech than the original motion-capture recordings. We also find that conventional objective metrics do not correlate well with subjective human-likeness ratings in this large evaluation. The one exception is the Fr\’echet gesture distance (FGD), which achieves a Kendall’s tau rank correlation of around $-0.5$. Based on the challenge results we formulate numerous recommendations for system building and evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google