Interaction Mix and Match: Synthesizing Close Interaction using Conditional Hierarchical GAN with Multi-Hot Class Embedding

要約

マルチキャラクタインタラクションの合成は、キャラクタ間の複雑で多様な相互作用のため、困難な作業である。特に、ダンスや格闘などの緊密なインタラクションを生成するためには、キャラクタ間の正確な時空間的な位置合わせが必要である。既存のマルチキャラクタインタラクションの生成研究では、与えられたシーケンスに対して1種類のリアクティブモーションを生成することに焦点が当てられており、結果として生成されるモーションの多様性に欠けることになる。本論文では、異なる種類の近接インタラクションを混在させることにより、与えられたデータセットにはないリアルな人間のリアクションを生成する新しい方法を提案する。本論文では、マルチホットクラスを埋め込んだ条件付き階層的生成アドバーサリアル・ネットワークを用いて、与えられたリーダーの動作シーケンスから、フォロワーのミックス＆マッチ反応モーションを生成する方法を提案する。実験では、ノイズの多いデータセット（深度ベース）と高品質のデータセット（MoCapベース）の両方に対して実験を行った。定量的、定性的な結果から、本アプローチは与えられたデータセットにおいて、最先端の手法を凌駕することが示された。また、この分野の将来の研究を刺激するために、現実的な反応動作を含む拡張データセットも提供する。コードは https://github.com/Aman-Goel1/IMM で利用可能である。

要約(オリジナル)

Synthesizing multi-character interactions is a challenging task due to the complex and varied interactions between the characters. In particular, precise spatiotemporal alignment between characters is required in generating close interactions such as dancing and fighting. Existing work in generating multi-character interactions focuses on generating a single type of reactive motion for a given sequence which results in a lack of variety of the resultant motions. In this paper, we propose a novel way to create realistic human reactive motions which are not presented in the given dataset by mixing and matching different types of close interactions. We propose a Conditional Hierarchical Generative Adversarial Network with Multi-Hot Class Embedding to generate the Mix and Match reactive motions of the follower from a given motion sequence of the leader. Experiments are conducted on both noisy (depth-based) and high-quality (MoCap-based) interaction datasets. The quantitative and qualitative results show that our approach outperforms the state-of-the-art methods on the given datasets. We also provide an augmented dataset with realistic reactive motions to stimulate future research in this area. The code is available at https://github.com/Aman-Goel1/IMM

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL