Learning to Exploit Elastic Actuators for Quadruped Locomotion

要約

脚式移動におけるスプリングベースのアクチュエータはエネルギー効率を高め、パフォーマンスを向上させますが、コントローラ設計の難易度は高くなります。
これまでの研究では、そのようなシステムに最適なコントローラーを見つけるために広範なモデリングとシミュレーションに焦点を当ててきましたが、私たちはモデルフリーのコントローラーを実際のロボット上で直接学習することを提案します。
私たちのアプローチでは、まず中央パターン ジェネレーター (CPG) によって歩行が合成され、そのパラメーターが最適化されて、効率的な移動を実現する開ループ コントローラーが迅速に得られます。
次に、このコントローラーをより堅牢にしてパフォーマンスをさらに向上させるために、強化学習を使用してループを閉じ、CPG に基づいて修正アクションを学習します。
DLR 弾性四足ベルトに対する提案されたアプローチを評価します。
速歩とプロンキング歩行を学習した結果は、動的動作の最適化からスプリングアクチュエータのダイナミクスの活用が自然に生まれ、モデルを使用していないにもかかわらず、高性能の移動、特にベルトで記録された最速の歩行を生み出すことを示しています。
実際のロボットではプロセス全体が 1.5 時間もかからず、自然な歩行が実現します。

要約(オリジナル)

Spring-based actuators in legged locomotion provide energy-efficiency and improved performance, but increase the difficulty of controller design. While previous work has focused on extensive modeling and simulation to find optimal controllers for such systems, we propose to learn model-free controllers directly on the real robot. In our approach, gaits are first synthesized by central pattern generators (CPGs), whose parameters are optimized to quickly obtain an open-loop controller that achieves efficient locomotion. Then, to make this controller more robust and further improve the performance, we use reinforcement learning to close the loop, to learn corrective actions on top of the CPGs. We evaluate the proposed approach on the DLR elastic quadruped bert. Our results in learning trotting and pronking gaits show that exploitation of the spring actuator dynamics emerges naturally from optimizing for dynamic motions, yielding high-performing locomotion, particularly the fastest walking gait recorded on bert, despite being model-free. The whole process takes no more than 1.5 hours on the real robot and results in natural-looking gaits.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google