RL + Model-based Control: Using On-demand Optimal Control to Learn Versatile Legged Locomotion

要約

このレターでは、モデルベースの最適制御と強化学習 (RL) を組み合わせて、多用途かつ堅牢な脚移動を実現する制御フレームワークを紹介します。
私たちのアプローチは、有限水平最適制御によって生成されたオンデマンドの参照動作を組み込むことで RL トレーニング プロセスを強化し、広範囲の速度と歩行をカバーします。
これらの参照動作は、RL ポリシーが模倣するターゲットとして機能し、その結果、効率的かつ確実に学習できる堅牢な制御ポリシーが開発されます。
さらに、全身ダイナミクスを考慮することにより、RL はモデリングの単純化に固有の制限を克服します。
シミュレーションとハードウェア実験を通じて、フレームワーク内での RL トレーニング プロセスの堅牢性と制御可能性を実証します。
さらに、私たちの方法は、RL の柔軟性を活用して、参照動作を一般化し、単純化されたモデルにとって課題となる可能性のあるより複雑な移動タスクを処理できることを示しています。

要約(オリジナル)

This letter presents a control framework that combines model-based optimal control and reinforcement learning (RL) to achieve versatile and robust legged locomotion. Our approach enhances the RL training process by incorporating on-demand reference motions generated through finite-horizon optimal control, covering a broad range of velocities and gaits. These reference motions serve as targets for the RL policy to imitate, resulting in the development of robust control policies that can be learned efficiently and reliably. Moreover, by considering whole-body dynamics, RL overcomes the inherent limitations of modelling simplifications. Through simulation and hardware experiments, we demonstrate the robustness and controllability of the RL training process within our framework. Furthermore, our method demonstrates the ability to generalize reference motions and handle more complex locomotion tasks that may pose challenges for the simplified model, leveraging the flexibility of RL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google