Lodge: A Coarse to Fine Diffusion Network for Long Dance Generation Guided by the Characteristic Dance Primitives

要約

私たちは、与えられた音楽に基づいて非常に長いダンス シーケンスを生成できるネットワークである Lodge を提案します。
我々は Lodge を 2 段階の粗いから細かい拡散アーキテクチャとして設計し、2 つの拡散モデル間の中間表現として重要な表現力を持つ特徴的なダンス プリミティブを提案します。
最初の段階は世界的な普及であり、大まかなレベルの音楽とダンスの相関関係と、ダンスのプリミティブの制作に特徴的なものを理解することに焦点を当てます。
対照的に、第 2 段階はローカル拡散で、ダンスのプリミティブと振り付けルールの指導の下で詳細なモーション シーケンスを並行して生成します。
さらに、足と地面との接触を最適化し、動きの物理的なリアリズムを高めるフット リファイン ブロックを提案します。
私たちのアプローチは、非常に長いダンス シーケンスを並行して生成し、グローバルな振り付けパターンとローカルなモーションの品質と表現力の間のバランスをとることができます。
広範な実験により、私たちの方法の有効性が検証されています。

要約(オリジナル)

We propose Lodge, a network capable of generating extremely long dance sequences conditioned on given music. We design Lodge as a two-stage coarse to fine diffusion architecture, and propose the characteristic dance primitives that possess significant expressiveness as intermediate representations between two diffusion models. The first stage is global diffusion, which focuses on comprehending the coarse-level music-dance correlation and production characteristic dance primitives. In contrast, the second-stage is the local diffusion, which parallelly generates detailed motion sequences under the guidance of the dance primitives and choreographic rules. In addition, we propose a Foot Refine Block to optimize the contact between the feet and the ground, enhancing the physical realism of the motion. Our approach can parallelly generate dance sequences of extremely long length, striking a balance between global choreographic patterns and local motion quality and expressiveness. Extensive experiments validate the efficacy of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google