Robust and Versatile Bipedal Jumping Control through Reinforcement Learning

要約

この研究は、トルク制御された二足歩行ロボットが現実世界で堅牢かつ多彩な動的ジャンプを実行できるようにすることで、二足歩行ロボットの敏捷性の限界を押し上げることを目的としています。
さまざまな場所や方向へのジャンプなど、さまざまなジャンプ タスクを達成できるようにロボットをトレーニングするための強化学習フレームワークを紹介します。
これらの困難なタスクのパフォーマンスを向上させるために、ロボットの長期入出力 (I/O) 履歴をエンコードしながら、短期 I/O 履歴への直接アクセスも提供する新しいポリシー構造を開発しました。
多用途なジャンプ方針を訓練するために、私たちはさまざまな目的に合わせてさまざまなトレーニング段階を含む多段階トレーニングスキームを利用します。
多段階のトレーニング後、ポリシーを実際の二足歩行 Cassie ロボットに直接転送できます。
さまざまなタスクに関するトレーニングと、より多様なシナリオの探索により、学習された一連の多様な操縦を活用して、現実世界の展開中に混乱や着陸不良から回復できる、非常に堅牢なポリシーが得られます。
提案されたポリシーのこのような堅牢性により、Cassie は、立ち幅跳び、高台へのジャンプ、多軸ジャンプなど、現実世界でさまざまな困難なジャンプ タスクを成功させることができます。

要約(オリジナル)

This work aims to push the limits of agility for bipedal robots by enabling a torque-controlled bipedal robot to perform robust and versatile dynamic jumps in the real world. We present a reinforcement learning framework for training a robot to accomplish a large variety of jumping tasks, such as jumping to different locations and directions. To improve performance on these challenging tasks, we develop a new policy structure that encodes the robot’s long-term input/output (I/O) history while also providing direct access to a short-term I/O history. In order to train a versatile jumping policy, we utilize a multi-stage training scheme that includes different training stages for different objectives. After multi-stage training, the policy can be directly transferred to a real bipedal Cassie robot. Training on different tasks and exploring more diverse scenarios lead to highly robust policies that can exploit the diverse set of learned maneuvers to recover from perturbations or poor landings during real-world deployment. Such robustness in the proposed policy enables Cassie to succeed in completing a variety of challenging jump tasks in the real world, such as standing long jumps, jumping onto elevated platforms, and multi-axes jumps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google