DFM: Deep Fourier Mimic for Expressive Dance Motion Learning

要約

エンターテインメントロボットが人気を得るにつれて、特にダンスにおける自然で表現力豊かな動きの需要は増え続けています。
伝統的に、ダンスの動きはアーティストによって手動で設計されてきました。これは、労働集約的であり、単純なモーション再生に限定されているプロセスであり、ダンス中に移動や視線制御などの追加のタスクを組み込む柔軟性がありません。
これらの課題を克服するために、高度なモーション表現と強化学習（RL）を組み合わせて動き間のスムーズな移行を可能にしながら、ダンスシーケンス中の補助タスクを並行して管理できる新しい方法であるディープフーリエミミック（DFM）を導入します。
以前の周波数ドメインベースのモーション表現は、ダンスモーションを潜在的なパラメーターにエンコードしたことに成功していますが、多くの場合、ローカルレベルで過度に剛性のある定期的な仮定を課し、エンターテインメントロボットの重要な側面である追跡精度と運動の表現力が低下します。
これらの局所的に定期的な制約を緩和することにより、私たちのアプローチは追跡精度を強化するだけでなく、異なる動き間のスムーズな遷移を促進します。
さらに、移動や視線制御などの同時ベースアクティビティをサポートする学習されたRLポリシーにより、エンターテインメントロボットは、静的な事前に設計されたダンスルーチンを単に再生するのではなく、ユーザーとより動的かつインタラクティブに関与させることができます。

要約(オリジナル)

As entertainment robots gain popularity, the demand for natural and expressive motion, particularly in dancing, continues to rise. Traditionally, dancing motions have been manually designed by artists, a process that is both labor-intensive and restricted to simple motion playback, lacking the flexibility to incorporate additional tasks such as locomotion or gaze control during dancing. To overcome these challenges, we introduce Deep Fourier Mimic (DFM), a novel method that combines advanced motion representation with Reinforcement Learning (RL) to enable smooth transitions between motions while concurrently managing auxiliary tasks during dance sequences. While previous frequency domain based motion representations have successfully encoded dance motions into latent parameters, they often impose overly rigid periodic assumptions at the local level, resulting in reduced tracking accuracy and motion expressiveness, which is a critical aspect for entertainment robots. By relaxing these locally periodic constraints, our approach not only enhances tracking precision but also facilitates smooth transitions between different motions. Furthermore, the learned RL policy that supports simultaneous base activities, such as locomotion and gaze control, allows entertainment robots to engage more dynamically and interactively with users rather than merely replaying static, pre-designed dance routines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google