RL + Model-based Control: Using On-demand Optimal Control to Learn Versatile Legged Locomotion

要約

この論文では、モデルベースの最適制御と強化学習 (RL) を組み合わせて、多用途かつ堅牢な脚移動を実現する制御フレームワークを紹介します。
私たちのアプローチは、有限水平最適制御によって生成されたオンデマンドの参照動作を組み込むことで RL トレーニング プロセスを強化し、広範囲の速度と歩行をカバーします。
これらの参照動作は、RL ポリシーが模倣するターゲットとして機能し、信頼性を持って学習できる堅牢な制御ポリシーの開発につながります。
さらに、RL は、全身のダイナミクスをキャプチャする現実的なシミュレーション データを利用することにより、モデリングの簡略化によって課せられる参照動作の固有の制限を効果的に克服します。
一連の実験を通じて、フレームワーク内での RL トレーニング プロセスの堅牢性と制御性を検証します。
これらの実験では、私たちの方法は、RL の柔軟性のおかげで、参照動作を一般化し、単純化されたモデルにとって課題となる可能性のあるより複雑な移動タスクを効果的に処理する機能を示しています。
さらに、私たちのフレームワークは、さまざまな次元のロボットの制御ポリシーのトレーニングを簡単にサポートし、報酬関数やハイパーパラメーターにおけるロボット固有の調整の必要性を排除します。

要約(オリジナル)

This paper presents a control framework that combines model-based optimal control and reinforcement learning (RL) to achieve versatile and robust legged locomotion. Our approach enhances the RL training process by incorporating on-demand reference motions generated through finite-horizon optimal control, covering a broad range of velocities and gaits. These reference motions serve as targets for the RL policy to imitate, leading to the development of robust control policies that can be learned with reliability. Furthermore, by utilizing realistic simulation data that captures whole-body dynamics, RL effectively overcomes the inherent limitations in reference motions imposed by modeling simplifications. We validate the robustness and controllability of the RL training process within our framework through a series of experiments. In these experiments, our method showcases its capability to generalize reference motions and effectively handle more complex locomotion tasks that may pose challenges for the simplified model, thanks to RL’s flexibility. Additionally, our framework effortlessly supports the training of control policies for robots with diverse dimensions, eliminating the necessity for robot-specific adjustments in the reward function and hyperparameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google