Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control

要約

この論文では、深層強化学習 (RL) を使用して二足歩行ロボットの動的移動コントローラーを作成することに関する包括的な研究を紹介します。
単一の移動スキルに焦点を当てるのを超えて、周期的な歩行や走行から非周期的なジャンプや立位に至るまで、さまざまな動的な二足歩行スキルに使用できる一般的な制御ソリューションを開発します。
当社の RL ベースのコントローラーには、ロボットの長期および短期の両方の入出力 (I/O) 履歴を利用する、新しい二重履歴アーキテクチャが組み込まれています。
この制御アーキテクチャは、提案されたエンドツーエンド RL アプローチを通じてトレーニングすると、シミュレーションと現実世界の両方で、さまざまなスキルにわたって他の方法よりも一貫して優れたパフォーマンスを発揮します。
この研究では、移動制御装置の開発において、提案された RL システムによって導入される適応性と堅牢性についても詳しく調べられています。
提案したアーキテクチャが、ロボットの I/O 履歴を効果的に使用することで、時間不変のダイナミクスの変化と接触イベントなどの時間変化の両方に適応できることを実証します。
さらに、タスクのランダム化がロバスト性のもう 1 つの重要な源であると特定し、より適切なタスクの一般化と外乱への順守を促進します。
結果として得られた制御ポリシーは、トルク制御された人間サイズの二足歩行ロボットである Cassie にうまく導入できます。
この研究では、広範な現実世界での実験を通じて、二足歩行ロボットの敏捷性の限界を押し広げています。
私たちは、頑丈な立ち方、多彩な歩行、400 メートル走のデモンストレーションを伴う高速走行、立ち幅跳びや走り高跳びなどの多様なジャンプ技術など、多様な移動スキルを実演します。

要約(オリジナル)

This paper presents a comprehensive study on using deep reinforcement learning (RL) to create dynamic locomotion controllers for bipedal robots. Going beyond focusing on a single locomotion skill, we develop a general control solution that can be used for a range of dynamic bipedal skills, from periodic walking and running to aperiodic jumping and standing. Our RL-based controller incorporates a novel dual-history architecture, utilizing both a long-term and short-term input/output (I/O) history of the robot. This control architecture, when trained through the proposed end-to-end RL approach, consistently outperforms other methods across a diverse range of skills in both simulation and the real world. The study also delves into the adaptivity and robustness introduced by the proposed RL system in developing locomotion controllers. We demonstrate that the proposed architecture can adapt to both time-invariant dynamics shifts and time-variant changes, such as contact events, by effectively using the robot’s I/O history. Additionally, we identify task randomization as another key source of robustness, fostering better task generalization and compliance to disturbances. The resulting control policies can be successfully deployed on Cassie, a torque-controlled human-sized bipedal robot. This work pushes the limits of agility for bipedal robots through extensive real-world experiments. We demonstrate a diverse range of locomotion skills, including: robust standing, versatile walking, fast running with a demonstration of a 400-meter dash, and a diverse set of jumping skills, such as standing long jumps and high jumps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google