Impedance Matching: Enabling an RL-Based Running Jump in a Quadruped Robot

要約

動物に見られる顕著な運動能力を再現することは、ロボット制御における長年の課題でした。
強化学習 (RL) は、動的な脚の移動制御における大幅な進歩を実証しましたが、シミュレーションと現実の大きなギャップにより、真に動的な動きを実際に実証することが妨げられることがよくあります。
我々は、シミュレートされたロボットと実際のロボットの間の周波数領域解析に基づくインピーダンスマッチングを通じて、このギャップを軽減する新しいフレームワークを提案します。
私たちのフレームワークは、パラメーターの選択とシミュレーションにおけるダイナミクスのランダム化の範囲に関する構造化されたガイドラインを提供し、安全なシミュレーションからリアルへの転送を容易にします。
私たちのフレームワークを使用して学習されたポリシーにより、距離 55 cm、高さ 38 cm のジャンプが可能になりました。
その結果は、私たちの知る限り、実際の四足歩行ロボットにおける RL ベースの制御ポリシーによって実証された、最も高く、最も長く実行されるジャンプの 1 つです。
達成されるジャンプの高さは、最先端の軌道最適化手法から得られるジャンプの高さの約 85% であることに注意してください。これは、特定のロボット ハードウェアの物理的な限界と見なすことができます。
また、制御方針により前後方向2m/s、横方向1m/sまでの安定した歩行を実現しました。

要約(オリジナル)

Replicating the remarkable athleticism seen in animals has long been a challenge in robotics control. Although Reinforcement Learning (RL) has demonstrated significant progress in dynamic legged locomotion control, the substantial sim-to-real gap often hinders the real-world demonstration of truly dynamic movements. We propose a new framework to mitigate this gap through frequency-domain analysis-based impedance matching between simulated and real robots. Our framework offers a structured guideline for parameter selection and the range for dynamics randomization in simulation, thus facilitating a safe sim-to-real transfer. The learned policy using our framework enabled jumps across distances of 55 cm and heights of 38 cm. The results are, to the best of our knowledge, one of the highest and longest running jumps demonstrated by an RL-based control policy in a real quadruped robot. Note that the achieved jumping height is approximately 85% of that obtained from a state-of-the-art trajectory optimization method, which can be seen as the physical limit for the given robot hardware. In addition, our control policy accomplished stable walking at speeds up to 2 m/s in the forward and backward directions, and 1 m/s in the sideway direction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google