RL + Model-based Control: Using On-demand Optimal Control to Learn Versatile Legged Locomotion

要約

このレターでは、モデルベースの最適制御と強化学習 (RL) を統合した、動的でロバストな脚運動のための多用途な制御手法を紹介します。
私たちのアプローチには、有限水平最適制御問題の解決を通じてオンデマンドで生成される参照モーションを模倣する RL ポリシーのトレーニングが含まれます。
この統合により、ポリシーは人間の専門知識を活用して模倣するモーションを生成できると同時に、より複雑なダイナミクス モデルを必要とするより複雑なシナリオにポリシーを一般化できるようになります。
私たちの方法は、シミュレーションとハードウェア実験の両方で、多様な四足歩行パターンを生成し、予期しない外部摂動に対して安定性を維持できる制御ポリシーを学習することに成功しました。
さらに、過剰な報酬形成やハイパーパラメータ調整を必要とせずに、平坦でない地形でのより複雑な移動タスクへのこの方法の適応性を実証します。

要約(オリジナル)

This letter presents a versatile control method for dynamic and robust legged locomotion that integrates model-based optimal control with reinforcement learning (RL). Our approach involves training an RL policy to imitate reference motions generated on-demand through solving a finite-horizon optimal control problem. This integration enables the policy to leverage human expertise in generating motions to imitate while also allowing it to generalize to more complex scenarios that require a more complex dynamics model. Our method successfully learns control policies capable of generating diverse quadrupedal gait patterns and maintaining stability against unexpected external perturbations in both simulation and hardware experiments. Furthermore, we demonstrate the adaptability of our method to more complex locomotion tasks on uneven terrain without the need for excessive reward shaping or hyperparameter tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google