Robust Dancer: Long-term 3D Dance Synthesis Using Unpaired Data

要約

楽曲に基づいて自然に見えるダンスの動きを自動的に合成する方法は、ますます人気が高まっていますが、挑戦的なタスクです。
ほとんどの既存のデータ駆動型アプローチでは、取得が困難なペアのトレーニング データが必要であり、自己回帰構造のエラー蓄積により長いモーション シーケンスを生成できません。
トレーニングに対応していないデータのみを必要とし、同時に現実的な長期モーションを生成できる、新しい 3D ダンス合成システムを提示します。
ペアになっていないデータ トレーニングでは、ビートとスタイルのもつれを解く方法を探り、ペア データに依存しない Transformer ベースのモデルを提案します。
長期的な動きの統合のために、新しい長期的な注意戦略を考案します。
最初にアテンション計算を通じて長い履歴の埋め込みをクエリし、次にマルチモーダル アダプテーション ゲート (MAG) を介してこの埋め込みを生成パイプラインに明示的に融合します。
客観的および主観的な評価は、ペアのトレーニングデータを必要としないにもかかわらず、結果が強力なベースライン方法に匹敵し、長期的な音楽を推測するときに堅牢であることを示しています。
私たちの知る限り、データの制限を効果的に緩和できる機能である不対データトレーニングを達成したのは、私たちが初めてです。
コードは https://github.com/BFeng14/RobustDancer で公開されています

要約(オリジナル)

How to automatically synthesize natural-looking dance movements based on a piece of music is an incrementally popular yet challenging task. Most existing data-driven approaches require hard-to-get paired training data and fail to generate long sequences of motion due to error accumulation of autoregressive structure. We present a novel 3D dance synthesis system that only needs unpaired data for training and could generate realistic long-term motions at the same time. For the unpaired data training, we explore the disentanglement of beat and style, and propose a Transformer-based model free of reliance upon paired data. For the synthesis of long-term motions, we devise a new long-history attention strategy. It first queries the long-history embedding through an attention computation and then explicitly fuses this embedding into the generation pipeline via multimodal adaptation gate (MAG). Objective and subjective evaluations show that our results are comparable to strong baseline methods, despite not requiring paired training data, and are robust when inferring long-term music. To our best knowledge, we are the first to achieve unpaired data training – an ability that enables to alleviate data limitations effectively. Our code is released on https://github.com/BFeng14/RobustDancer

arxiv情報

提供元, 利用サービス

arxiv.jp, Google