GCDance: Genre-Controlled 3D Full Body Dance Generation Driven By Music

要約

音楽から高品質のフルボディダンスシーケンスを生成することは、ジャンル固有の振り付けを厳密に遵守する必要があるため、挑戦的な作業です。
さらに、生成されたシーケンスは、物理的に現実的であり、音楽のビートとリズムと正確に同期している必要があります。
これらの課題を克服するために、音楽とテキストのプロンプトの両方に条件付けられたジャンル固有のダンスモーションを生成するための分類器のない拡散フレームワークであるGCDANCEを提案します。
具体的には、私たちのアプローチは、高レベルの事前訓練を受けた音楽ファンデーションモデル機能と、多粒度機能の融合の手作りされた機能を組み合わせることで、音楽機能を抽出します。
ジャンルの制御性を実現するために、クリップを活用して、ダンスジェネレーションパイプライン内の各時間ステップで、ジャンルベースのテキストプロンプト表現を効率的に埋め込みます。
GCDANCEフレームワークは、音楽のリズムとメロディーとの一貫性を確保しながら、同じ音楽から多様なダンススタイルを生成できます。
罰金データセットで得られた広範な実験結果は、GCDANCEが既存の最先端のアプローチを大幅に上回ることを示しています。
私たちのアブレーションと推論時間分析は、GCDANCEが高品質の音楽主導のダンス生成に効果的なソリューションを提供することを示しています。

要約(オリジナル)

Generating high-quality full-body dance sequences from music is a challenging task as it requires strict adherence to genre-specific choreography. Moreover, the generated sequences must be both physically realistic and precisely synchronized with the beats and rhythm of the music. To overcome these challenges, we propose GCDance, a classifier-free diffusion framework for generating genre-specific dance motions conditioned on both music and textual prompts. Specifically, our approach extracts music features by combining high-level pre-trained music foundation model features with hand-crafted features for multi-granularity feature fusion. To achieve genre controllability, we leverage CLIP to efficiently embed genre-based textual prompt representations at each time step within our dance generation pipeline. Our GCDance framework can generate diverse dance styles from the same piece of music while ensuring coherence with the rhythm and melody of the music. Extensive experimental results obtained on the FineDance dataset demonstrate that GCDance significantly outperforms the existing state-of-the-art approaches, which also achieve competitive results on the AIST++ dataset. Our ablation and inference time analysis demonstrate that GCDance provides an effective solution for high-quality music-driven dance generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google