Robust and Versatile Bipedal Jumping Control through Multi-Task Reinforcement Learning

要約

この作業は、トルク制御された二足歩行ロボットが現実の世界で堅牢で用途の広い動的ジャンプを実行できるようにすることで、二足歩行ロボットの敏捷性の限界を押し広げることを目的としています。
さまざまな場所や方向へのジャンプなど、多種多様なジャンプ タスクを達成するためにロボットをトレーニングするためのマルチタスク強化学習フレームワークを提示します。
これらの困難なタスクのパフォーマンスを向上させるために、ロボットの長期的な入出力 (I/O) 履歴をエンコードすると同時に、短期的な I/O 履歴への直接アクセスを提供する新しいポリシー構造を開発しました。
用途の広いマルチタスク ポリシーをトレーニングするために、さまざまな目的のためのさまざまなトレーニング ステージを含む多段階トレーニング スキームを利用します。
マルチステージ トレーニングの後、マルチタスク ポリシーは、物理的な二足歩行ロボットである Cassie に直接転送できます。
さまざまなタスクでトレーニングを行い、より多様なシナリオを検討することで、学習したさまざまなスキルを活用して、実際の展開中に摂動や不十分な着陸から回復できる、非常に堅牢なポリシーにつながります。
提案されたマルチタスク ポリシーのこのような堅牢性により、Cassie は、立ち幅跳び、高い台へのジャンプ、多軸ジャンプなど、現実世界でさまざまな挑戦的なジャンプ タスクを成功させることができます。

要約(オリジナル)

This work aims to push the limits of agility for bipedal robots by enabling a torque-controlled bipedal robot to perform robust and versatile dynamic jumps in the real world. We present a multi-task reinforcement learning framework to train the robot to accomplish a large variety of jumping tasks, such as jumping to different locations and directions. To improve performance on these challenging tasks, we develop a new policy structure that encodes the robot’s long-term input/output (I/O) history while also providing direct access to its short-term I/O history. In order to train a versatile multi-task policy, we utilize a multi-stage training scheme that includes different training stages for different objectives. After multi-stage training, the multi-task policy can be directly transferred to Cassie, a physical bipedal robot. Training on different tasks and exploring more diverse scenarios leads to highly robust policies that can exploit the diverse set of learned skills to recover from perturbations or poor landings during real-world deployment. Such robustness in the proposed multi-task policy enables Cassie to succeed in completing a variety of challenging jump tasks in the real world, such as standing long jumps, jumping onto elevated platforms, and multi-axis jumps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google