Mobile-TeleVision: Predictive Motion Priors for Humanoid Whole-Body Control

要約

ヒューマノイド ロボットには、堅牢な下半身の移動と正確な上半身の操作の両方が必要です。
最近の強化学習 (RL) アプローチは全身の運動操作ポリシーを提供しますが、高自由度アームでの正確な操作が不足しています。
この論文では、RL がロバストな下半身の移動に焦点を当てながら、逆運動学 (IK) とモーション リターゲティングを使用して正確な操作を行い、移動から上半身の制御を切り離すことを提案します。
上半身の動きを効果的に表現するために条件付き変分オートエンコーダー (CVAE) でトレーニングされた PMP (予測モーション事前予測) を導入します。
移動ポリシーは、この上半身の動きの表現を条件としてトレーニングされ、システムが操作と移動の両方に対して堅牢であることが保証されます。
我々は、CVAE 機能が安定性と堅牢性にとって重要であり、正確な操作において RL ベースの全身制御よりも大幅に優れていることを示します。
正確な上半身の動きと堅牢な下半身の移動制御により、オペレーターはヒューマノイドを遠隔制御して、さまざまな操作タスクを実行しながら、歩き回ってさまざまな環境を探索できます。

要約(オリジナル)

Humanoid robots require both robust lower-body locomotion and precise upper-body manipulation. While recent Reinforcement Learning (RL) approaches provide whole-body loco-manipulation policies, they lack precise manipulation with high DoF arms. In this paper, we propose decoupling upper-body control from locomotion, using inverse kinematics (IK) and motion retargeting for precise manipulation, while RL focuses on robust lower-body locomotion. We introduce PMP (Predictive Motion Priors), trained with Conditional Variational Autoencoder (CVAE) to effectively represent upper-body motions. The locomotion policy is trained conditioned on this upper-body motion representation, ensuring that the system remains robust with both manipulation and locomotion. We show that CVAE features are crucial for stability and robustness, and significantly outperforms RL-based whole-body control in precise manipulation. With precise upper-body motion and robust lower-body locomotion control, operators can remotely control the humanoid to walk around and explore different environments, while performing diverse manipulation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google