Learning Multi-Modal Whole-Body Control for Real-World Humanoid Robots

要約

ヒューマノイドロボットの基礎能力には、堅牢に立っている、歩いて、全身の動きと部分的な運動の模倣を含める必要があります。
この作業では、マスクされたヒューマノイドコントローラー（MHC）を紹介します。これは、障害に対するバランスと堅牢性を確保しながら、ヒューマノイド状態変数の選択されたサブセット上のターゲット軌跡を追跡することにより、これらすべての機能をサポートします。
MHCは、スタンディング、ウォーキング、最適化された参照軌跡、再ターゲットのビデオクリップ、および人間のモーションキャプチャデータにまたがる行動ライブラリからの部分的にマスクされた動きを模倣する慎重に設計されたカリキュラムを使用して、シミュレーションのトレーニングを受けています。
また、ジョイスティックベースのコントロールと部分体の運動模倣を組み合わせることもできます。
部分的に指定されたターゲット運動からさまざまな動作を実行するMHCの能力を検証するシミュレーション実験を紹介します。
さらに、実際の数字V3ヒューマノイドロボットでSIMからリアルへの転送を示します。
私たちの知る限り、これは学習したコントローラーの最初のインスタンスであり、このような多様なマルチモーダルターゲットの実世界のヒューマノイドの全身制御を実現できます。

要約(オリジナル)

The foundational capabilities of humanoid robots should include robustly standing, walking, and mimicry of whole and partial-body motions. This work introduces the Masked Humanoid Controller (MHC), which supports all of these capabilities by tracking target trajectories over selected subsets of humanoid state variables while ensuring balance and robustness against disturbances. The MHC is trained in simulation using a carefully designed curriculum that imitates partially masked motions from a library of behaviors spanning standing, walking, optimized reference trajectories, re-targeted video clips, and human motion capture data. It also allows for combining joystick-based control with partial-body motion mimicry. We showcase simulation experiments validating the MHC’s ability to execute a wide variety of behaviors from partially-specified target motions. Moreover, we demonstrate sim-to-real transfer on the real-world Digit V3 humanoid robot. To our knowledge, this is the first instance of a learned controller that can realize whole-body control of a real-world humanoid for such diverse multi-modal targets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google