PAMD: Plausibility-Aware Motion Diffusion Model for Long Dance Generation

要約

コンピューティングダンス生成は、特にコヒーレントで表現力豊かな長いダンスシーケンスを生成するために、アート、人間コンピューターの相互作用、仮想現実、デジタルエンターテイメントなど、多くの分野で重要です。
拡散ベースの音楽からダンスへの世代は大きな進歩を遂げましたが、既存の方法は依然として身体的にもっともらしい動きを生み出すのに苦労しています。
これに対処するために、音楽的に整列し、身体的に現実的なダンスを生成するためのフレームワークである、妥当性を意識する動き拡散（PAMD）を提案します。
PAMDのコアは、もっともらしい動きの制約（PMC）にあります。これは、神経距離場（NDF）を活用して実際のポーズマニホールドをモデル化し、生成された動きを物理的に有効なポーズマニホールドに向けてガイドします。
生成中のより効果的なガイダンスを提供するために、スタンディングを使用する以前のモーションガイダンス（PMG）が組み込まれています。
複雑な動きのリアリズムをさらに強化するために、線形ジョイント位置空間の最適化目標と非線形回転空間でのデータ表現との間のギャップを埋めることにより、足を剥がれたアーティファクトに対処するフットグラウンドコンタクト（MRFC）モジュールで動きの洗練を導入します。
広範な実験は、PAMDが音楽の整合性を大幅に改善し、生成された動きの物理的妥当性を高めることを示しています。
このプロジェクトページは、https：//mucunzhuzhu.github.io/pamd-page/で入手できます。

要約(オリジナル)

Computational dance generation is crucial in many areas, such as art, human-computer interaction, virtual reality, and digital entertainment, particularly for generating coherent and expressive long dance sequences. Diffusion-based music-to-dance generation has made significant progress, yet existing methods still struggle to produce physically plausible motions. To address this, we propose Plausibility-Aware Motion Diffusion (PAMD), a framework for generating dances that are both musically aligned and physically realistic. The core of PAMD lies in the Plausible Motion Constraint (PMC), which leverages Neural Distance Fields (NDFs) to model the actual pose manifold and guide generated motions toward a physically valid pose manifold. To provide more effective guidance during generation, we incorporate Prior Motion Guidance (PMG), which uses standing poses as auxiliary conditions alongside music features. To further enhance realism for complex movements, we introduce the Motion Refinement with Foot-ground Contact (MRFC) module, which addresses foot-skating artifacts by bridging the gap between the optimization objective in linear joint position space and the data representation in nonlinear rotation space. Extensive experiments show that PAMD significantly improves musical alignment and enhances the physical plausibility of generated motions. This project page is available at: https://mucunzhuzhu.github.io/PAMD-page/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google