Actuator-Constrained Reinforcement Learning for High-Speed Quadrupedal Locomotion

要約

本稿では、強化学習においてアクチュエータのトルクと速度の動作領域を考慮し、四足ロボットの高速走行を実現する手法を紹介する。
アクチュエータの物理的特性と制約はトレーニング プロセスに含まれており、モーターのトルクと速度の制限により現実世界では実行不可能な状態遷移を軽減します。
歩行報酬は、モーターのトルクをすべての脚に均等に配分するように設計されており、よりバランスのとれた電力使用に貢献し、単一モーターの飽和によるパフォーマンスのボトルネックを軽減します。
さらに、ロボットの敏捷性を高めるために軽量なフットを設計しました。
モーター動作領域を制約として適用すると、ポリシー ネットワークがサンプリング中に実行不可能な領域を回避できることがわかりました。
訓練されたポリシーにより、重量 45 kg の四足ロボット KAIST Hound は、電気モーターベースの四足ロボットの中で最速の 6.5 m/s で走行できます。

要約(オリジナル)

This paper presents a method for achieving high-speed running of a quadruped robot by considering the actuator torque-speed operating region in reinforcement learning. The physical properties and constraints of the actuator are included in the training process to reduce state transitions that are infeasible in the real world due to motor torque-speed limitations. The gait reward is designed to distribute motor torque evenly across all legs, contributing to more balanced power usage and mitigating performance bottlenecks due to single-motor saturation. Additionally, we designed a lightweight foot to enhance the robot’s agility. We observed that applying the motor operating region as a constraint helps the policy network avoid infeasible areas during sampling. With the trained policy, KAIST Hound, a 45 kg quadruped robot, can run up to 6.5 m/s, which is the fastest speed among electric motor-based quadruped robots.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google