Duolando: Follower GPT with Off-Policy Reinforcement Learning for Dance Accompaniment

要約

我々は、3D ダンス生成の分野に、ダンス伴奏と呼ばれる新しいタスクを導入します。このタスクでは、リード ダンサーの動きと根底にある音楽リズムと同期した、ダンス パートナーである「フォロワー」からの反応する動きの生成が必要です。
既存のソロまたはグループ ダンス生成タスクとは異なり、デュエット ダンス シナリオでは 2 人の参加者間の高度な相互作用が必要となり、ポーズと位置の両方で繊細な調整が必要になります。
このタスクをサポートするために、まず、プロのダンサーのパフォーマンスを約 117 分記録して、大規模で多様なデュエット インタラクティブ ダンス データセット DD100 を構築します。
このタスクに固有の課題に対処するために、我々は GPT ベースのモデル Duolando を提案します。このモデルは、音楽、リーダーとフォロワーの動きの調整された情報に基づいて、その後のトークン化された動きを自己回帰的に予測します。
目に見えない条件（音楽やリーダーの動き）で安定した結果を生成する GPT の機能をさらに強化するために、人間が定義したガイドに従って、モデルが分布外のサンプリングから実行可能な軌道を探索できるようにするオフポリシー強化学習戦略を考案しました。
報酬。
収集したデータセットと提案された手法に基づいて、慎重に設計されたいくつかの指標を使用してベンチマークを確立します。

要約(オリジナル)

We introduce a novel task within the field of 3D dance generation, termed dance accompaniment, which necessitates the generation of responsive movements from a dance partner, the ‘follower’, synchronized with the lead dancer’s movements and the underlying musical rhythm. Unlike existing solo or group dance generation tasks, a duet dance scenario entails a heightened degree of interaction between the two participants, requiring delicate coordination in both pose and position. To support this task, we first build a large-scale and diverse duet interactive dance dataset, DD100, by recording about 117 minutes of professional dancers’ performances. To address the challenges inherent in this task, we propose a GPT-based model, Duolando, which autoregressively predicts the subsequent tokenized motion conditioned on the coordinated information of the music, the leader’s and the follower’s movements. To further enhance the GPT’s capabilities of generating stable results on unseen conditions (music and leader motions), we devise an off-policy reinforcement learning strategy that allows the model to explore viable trajectories from out-of-distribution samplings, guided by human-defined rewards. Based on the collected dataset and proposed method, we establish a benchmark with several carefully designed metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google