Scalable Group Choreography via Variational Phase Manifold Learning

要約

音楽からグループ ダンス モーションを生成することは、いくつかの産業用途において困難な作業です。
この問題に取り組むためにいくつかの方法が提案されていますが、そのほとんどは、データセット内の所定のダンサー数によって制約される、ダンスの動きの忠実度の最適化を優先しています。
この制限により、現実世界のアプリケーションへの適応性が妨げられます。
私たちの研究は、自然さと同期性を維持しながら、グループ振り付けにおけるスケーラビリティの問題に取り組んでいます。
特に、生成多様体の学習に基づいて、群舞生成のための位相ベースの変分生成モデルを提案します。
私たちの手法は、忠実度の高いグループ ダンス モーションを実現し、最小限かつ一定量のメモリを消費しながら、無制限の数のダンサーによる生成を可能にします。
2 つの公開データセットに対する集中的な実験により、私たちが提案した方法が最近の最先端のアプローチを大幅に上回り、トレーニング データを超えて多数のダンサーに拡張可能であることが示されました。

要約(オリジナル)

Generating group dance motion from the music is a challenging task with several industrial applications. Although several methods have been proposed to tackle this problem, most of them prioritize optimizing the fidelity in dancing movement, constrained by predetermined dancer counts in datasets. This limitation impedes adaptability to real-world applications. Our study addresses the scalability problem in group choreography while preserving naturalness and synchronization. In particular, we propose a phase-based variational generative model for group dance generation on learning a generative manifold. Our method achieves high-fidelity group dance motion and enables the generation with an unlimited number of dancers while consuming only a minimal and constant amount of memory. The intensive experiments on two public datasets show that our proposed method outperforms recent state-of-the-art approaches by a large margin and is scalable to a great number of dancers beyond the training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google