ModSkill: Physical Character Skill Modularization

要約

人間の動きは非常に多様でダイナミックであり、シミュレートされたキャラクターを制御するための運動能力を一般化することを目的とする模倣学習アルゴリズムの課題をもたらします。
以前の方法は通常、参照モーション（追跡ベースのモデル）または統一されたフルボディスキル埋め込みスペース（スキル埋め込み）を追跡するために、ユニバーサルフルボディコントローラーに依存しています。
ただし、これらのアプローチは、多くの場合、より大きなモーションデータセットに一般化し、拡大するのに苦労しています。
この作業では、複雑なフルボディスキルを独立した身体部分の構成的なモジュールスキルに分離する新しいスキル学習フレームワークであるModskillを紹介します。
私たちのフレームワークには、各ボディパーツの低レベルコントローラーをガイドするモジュラースキルエンミングにポリシー観測を処理するスキルモジュール化注意レイヤーが特徴です。
また、大規模なモーション生成モデルを使用して、挑戦的な追跡シナリオにおけるポリシー学習を適応的に強化するために、生成的適応サンプリングを使用したアクティブなスキル学習アプローチを提案します。
私たちの結果は、生成的サンプリングによって強化されたこのモジュール化されたスキル学習フレームワークが、正確なフルボディモーショントラッキングで既存の方法を上回り、多様な目標主導のタスクに再利用可能なスキル埋め込みを可能にすることを示しています。

要約(オリジナル)

Human motion is highly diverse and dynamic, posing challenges for imitation learning algorithms that aim to generalize motor skills for controlling simulated characters. Previous methods typically rely on a universal full-body controller for tracking reference motion (tracking-based model) or a unified full-body skill embedding space (skill embedding). However, these approaches often struggle to generalize and scale to larger motion datasets. In this work, we introduce a novel skill learning framework, ModSkill, that decouples complex full-body skills into compositional, modular skills for independent body parts. Our framework features a skill modularization attention layer that processes policy observations into modular skill embeddings that guide low-level controllers for each body part. We also propose an Active Skill Learning approach with Generative Adaptive Sampling, using large motion generation models to adaptively enhance policy learning in challenging tracking scenarios. Our results show that this modularized skill learning framework, enhanced by generative sampling, outperforms existing methods in precise full-body motion tracking and enables reusable skill embeddings for diverse goal-driven tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google