Reinforcement Learning for Legged Robots: Motion Imitation from Model-Based Optimal Control

要約

私たちはMIMOC：Motion Imitation from Model-Based Optimal Controlを提案します。
MIMOC は、モデルベースの最適制御の基準軌道を模倣することで機敏な移動を学習する強化学習 (RL) コントローラーです。
MIMOC は、参照が動的に一貫しており、モーションのリターゲットを必要とせず、トルク参照を含むため、他のモーション模倣 RL アプローチが直面する課題を軽減します。
したがって、MIMOC は微調整を必要としません。
また、MIMOC は、モデルベースのコントローラーに比べて、モデリングや状態推定の不正確さの影響を受けにくいです。
私たちは、さまざまな困難な地形上の屋外環境で Mini-Cheetah で、およびシミュレーションで MIT Humanoid で MIMOC を検証します。
MIMOC がモデルベースの最適コントローラーよりも優れたパフォーマンスを発揮するケースを示し、トルク基準を模倣することでポリシーのパフォーマンスが向上することを示します。

要約(オリジナル)

We propose MIMOC: Motion Imitation from Model-Based Optimal Control. MIMOC is a Reinforcement Learning (RL) controller that learns agile locomotion by imitating reference trajectories from model-based optimal control. MIMOC mitigates challenges faced by other motion imitation RL approaches because the references are dynamically consistent, require no motion retargeting, and include torque references. Hence, MIMOC does not require fine-tuning. MIMOC is also less sensitive to modeling and state estimation inaccuracies than model-based controllers. We validate MIMOC on the Mini-Cheetah in outdoor environments over a wide variety of challenging terrain, and on the MIT Humanoid in simulation. We show cases where MIMOC outperforms model-based optimal controllers, and show that imitating torque references improves the policy’s performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google