Align Your Rhythm: Generating Highly Aligned Dance Poses with Gating-Enhanced Rhythm-Aware Feature Representation

要約

音楽によって駆動される自然で多様でリズミカルな人間のダンスの動きを自動的に生成することは、仮想現実や映画産業にとって不可欠です。
ただし、既存の方法に適切なビートアライメントがなく、不自然な動きのダイナミクスを示すため、自然に音楽を追跡するダンスを生成することは依然として課題のままです。
このペーパーでは、ゲーティングメカニズムを活用して音楽駆動型のダンス生成のリズムアウェア機能表現を強化するためのゲーティングメカニズムを活用する斬新なフレームワークであるDanceBaを提案します。
具体的には、音楽段階のデータからリズミカルな情報を正確に抽出し、音楽の本質的な周期性と時間的構造を活用するために、位相ベースのリズム抽出（pre）を導入します。
さらに、グローバルなリズミカルな特徴に焦点を当て、ダンスの動きが音楽のリズムに密接に従うことを保証するために、一時的な因果関係の因果関係（TGCA）を提案します。
また、並列マンバモーションモデリング（PMMM）アーキテクチャを導入して、音楽の特徴とともに上半身と下半身の動きを個別にモデル化し、それによって生成されたダンスの動きの自然性と多様性を改善します。
大規模な実験では、DanceBaが最先端の方法を上回り、リズミカルなアライメントと運動の多様性を大幅に優れていることを確認しています。
プロジェクトページ：https：//danceba.github.io/。

要約(オリジナル)

Automatically generating natural, diverse and rhythmic human dance movements driven by music is vital for virtual reality and film industries. However, generating dance that naturally follows music remains a challenge, as existing methods lack proper beat alignment and exhibit unnatural motion dynamics. In this paper, we propose Danceba, a novel framework that leverages gating mechanism to enhance rhythm-aware feature representation for music-driven dance generation, which achieves highly aligned dance poses with enhanced rhythmic sensitivity. Specifically, we introduce Phase-Based Rhythm Extraction (PRE) to precisely extract rhythmic information from musical phase data, capitalizing on the intrinsic periodicity and temporal structures of music. Additionally, we propose Temporal-Gated Causal Attention (TGCA) to focus on global rhythmic features, ensuring that dance movements closely follow the musical rhythm. We also introduce Parallel Mamba Motion Modeling (PMMM) architecture to separately model upper and lower body motions along with musical features, thereby improving the naturalness and diversity of generated dance movements. Extensive experiments confirm that Danceba outperforms state-of-the-art methods, achieving significantly better rhythmic alignment and motion diversity. Project page: https://danceba.github.io/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google