BRACE: The Breakdancing Competition Dataset for Dance Motion Synthesis

要約

オーディオ調整されたダンスモーション合成の生成モデルは、音楽機能をダンスの動きにマッピングします。
モデルは、通常、人体の明確な知識がなくても、モーションパターンをオーディオパターンに関連付けるようにトレーニングされています。
このアプローチは、いくつかの仮定に依存しています。強い音楽とダンスの相関関係、制御されたモーションデータ、比較的単純なポーズと動きです。
これらの特性は、ダンスモーション合成の既存のすべてのデータセットに見られ、実際、最近の方法で良好な結果を得ることができます。複雑な人間のポーズを表示する一連の動的ダンスシーケンスをコンパイルして、これらの一般的な仮定に挑戦することを目的とした新しいデータセットを紹介します。
アクロバティックな動きと絡み合った姿勢が特徴のブレイクダンスに焦点を当てています。
データは、Red BullBCOneのコンテストビデオから入手しています。
これらのビデオから人間のキーポイントを推定することは、ダンスの複雑さ、および複数の移動カメラの記録設定のために困難です。
深い推定モデルと手動の注釈を活用したハイブリッドラベリングパイプラインを採用して、低コストで高品質のキーポイントシーケンスを取得します。
私たちの努力により、BRACEデータセットが作成されました。このデータセットには、3時間30分以上の高密度の注釈付きポーズが含まれています。
BRACEで最先端のメソッドをテストし、複雑なシーケンスで評価した場合の制限を示します。
私たちのデータセットは、ダンスモーション合成の進歩を容易に促進することができます。
複雑なポーズと素​​早い動きにより、モデルは、モダリティと推論の間のマッピングを学習するだけでなく、体の構造と動きについてより効果的に学習することを余儀なくされています。

要約(オリジナル)

Generative models for audio-conditioned dance motion synthesis map music features to dance movements. Models are trained to associate motion patterns to audio patterns, usually without an explicit knowledge of the human body. This approach relies on a few assumptions: strong music-dance correlation, controlled motion data and relatively simple poses and movements. These characteristics are found in all existing datasets for dance motion synthesis, and indeed recent methods can achieve good results.We introduce a new dataset aiming to challenge these common assumptions, compiling a set of dynamic dance sequences displaying complex human poses. We focus on breakdancing which features acrobatic moves and tangled postures. We source our data from the Red Bull BC One competition videos. Estimating human keypoints from these videos is difficult due to the complexity of the dance, as well as the multiple moving cameras recording setup. We adopt a hybrid labelling pipeline leveraging deep estimation models as well as manual annotations to obtain good quality keypoint sequences at a reduced cost. Our efforts produced the BRACE dataset, which contains over 3 hours and 30 minutes of densely annotated poses. We test state-of-the-art methods on BRACE, showing their limitations when evaluated on complex sequences. Our dataset can readily foster advance in dance motion synthesis. With intricate poses and swift movements, models are forced to go beyond learning a mapping between modalities and reason more effectively about body structure and movements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google