Magic: Multi Art Genre Intelligent Choreography Dataset and Network for 3D Dance Generation

要約

マルチジャンルのデータセットがないため、特定の音楽から複数のジャンルと長期的な振り付けシーケンスを実現することは困難な作業です。
この問題に取り組むために、マルチアートジャンルインテリジェントコレオグラフィーデータセット (MagicDance) を提案します。
MagicDance のデータは、モーション キャプチャ技術者が支援するプロのダンサーからキャプチャされます。
合計 8 時間の 3D モーションキャプチャ 人間のダンスとペアの音楽、および 16 の異なるダンス ジャンルがあります。
私たちの知る限りでは、MagicDance は最も多くのジャンルを持つ 3D ダンス データセットです。
また、既存の 2 種類の方法 (世代ベースの方法と合成ベースの方法) は、多様性と持続時間のいずれか一方しか満たすことができませんが、ある程度補完することができます。
この観察に基づいて、拡散ベースの 3D 多様なダンス フラグメント生成ネットワーク (3DGNet) とジャンルとコヒーレントを認識する検索モジュール (GCRM) をカスケードする生成合成コレオグラフィ ネットワーク (MagicNet) も提案します。
前者は、1 つのミュージック クリップからさまざまなダンスの断片を生成できます。
後者は、3DGNet によって生成された最適なダンス フラグメントを選択し、ジャンルと一貫したマッチング スコアに従って完全なダンスに切り替えるために使用されます。
定量的および定性的な実験により、MagicDance の品質と MagicNet の最先端のパフォーマンスが実証されています。

要約(オリジナル)

Achieving multiple genres and long-term choreography sequences from given music is a challenging task, due to the lack of a multi-genre dataset. To tackle this problem,we propose a Multi Art Genre Intelligent Choreography Dataset (MagicDance). The data of MagicDance is captured from professional dancers assisted by motion capture technicians. It has a total of 8 hours 3D motioncapture human dances with paired music, and 16 different dance genres. To the best of our knowledge, MagicDance is the 3D dance dataset with the most genres. In addition, we find that the existing two types of methods (generation-based method and synthesis-based method) can only satisfy one of the diversity and duration, but they can complement to some extent. Based on this observation, we also propose a generation-synthesis choreography network (MagicNet), which cascades a Diffusion-based 3D Diverse Dance fragments Generation Network (3DGNet) and a Genre&Coherent aware Retrieval Module (GCRM). The former can generate various dance fragments from only one music clip. The latter is utilized to select the best dance fragment generated by 3DGNet and switch them into a complete dance according to the genre and coherent matching score. Quantitative and qualitative experiments demonstrate the quality of MagicDance, and the state-of-the-art performance of MagicNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google