CAJun: Continuous Adaptive Jumping using a Learned Centroidal Controller

要約

脚式ロボットが適応的なジャンプ距離で連続的にジャンプできるようにする新しい階層型学習および制御フレームワークである CAJun を紹介します。
CAJun は、高レベルの重心ポリシーと低レベルのレッグ コントローラーで構成されます。
特に、強化学習 (RL) を使用して、脚コントローラーの歩行タイミング、基本速度、振り足位置を指定する重心ポリシーをトレーニングします。
脚部コントローラは、歩容タイミングに応じて遊脚・立脚のモータ指令を最適化し、遊脚目標と基礎速度指令に追従する最適制御を行います。
さらに、脚コントローラーのスタンス脚オプティマイザーを再定式化して、ポリシーのトレーニングを一桁高速化します。
私たちのシステムは、学習の多用途性と最適な制御の堅牢性を組み合わせています。
RL と最適な制御手法を組み合わせることで、私たちのシステムは制御手法による堅牢性を享受しながら学習の多様性を実現し、実際のロボットへの容易な移植を可能にします。
単一の GPU で 20 分間トレーニングを行った後、CAJun は、シミュレーションと実際のギャップが小さい Go1 ロボットで適応距離を使用して連続的なロング ジャンプを達成できることを示します。
さらに、ロボットは既存の方法よりも40％以上広い最大幅70cmの隙間を飛び越えることができます。

要約(オリジナル)

We present CAJun, a novel hierarchical learning and control framework that enables legged robots to jump continuously with adaptive jumping distances. CAJun consists of a high-level centroidal policy and a low-level leg controller. In particular, we use reinforcement learning (RL) to train the centroidal policy, which specifies the gait timing, base velocity, and swing foot position for the leg controller. The leg controller optimizes motor commands for the swing and stance legs according to the gait timing to track the swing foot target and base velocity commands using optimal control. Additionally, we reformulate the stance leg optimizer in the leg controller to speed up policy training by an order of magnitude. Our system combines the versatility of learning with the robustness of optimal control. By combining RL with optimal control methods, our system achieves the versatility of learning while enjoys the robustness from control methods, making it easily transferable to real robots. We show that after 20 minutes of training on a single GPU, CAJun can achieve continuous, long jumps with adaptive distances on a Go1 robot with small sim-to-real gaps. Moreover, the robot can jump across gaps with a maximum width of 70cm, which is over 40% wider than existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google