End-to-End Reinforcement Learning for Torque Based Variable Height Hopping

要約

脚による移動は、おそらく自然または構造化されていない地形に対処するのに最も適した多用途のモードです。
最近、動的な歩行および走行コントローラーに関する集中的な研究により、最適制御と強化学習 (RL) の文献の両方で大きな進歩がもたらされました。
ホッピングは飛行段階を伴う挑戦的な動的タスクであり、脚式ロボットの移動性を向上させる可能性があります。
ホッピングのためのモデルベースの制御は通常、リフトオフやタッチダウンなどのさまざまなジャンプ段階の正確な検出と、段階ごとに異なるコントローラーの使用に依存します。
この論文では、状態検出のための手動ヒューリスティックを提供する必要性を排除し、関連するジャンプ位相を暗黙的に検出することを学習するエンドツーエンドの RL ベースのトルク コントローラーを紹介します。
また、学習したコントローラーをシミュレーションから現実に移行して豊富な動的タスクに接続する方法を拡張し、パラメーター調整なしでトレーニング後にロボットへの展開を成功させます。

要約(オリジナル)

Legged locomotion is arguably the most suited and versatile mode to deal with natural or unstructured terrains. Intensive research into dynamic walking and running controllers has recently yielded great advances, both in the optimal control and reinforcement learning (RL) literature. Hopping is a challenging dynamic task involving a flight phase and has the potential to increase the traversability of legged robots. Model based control for hopping typically relies on accurate detection of different jump phases, such as lift-off or touch down, and using different controllers for each phase. In this paper, we present a end-to-end RL based torque controller that learns to implicitly detect the relevant jump phases, removing the need to provide manual heuristics for state detection. We also extend a method for simulation to reality transfer of the learned controller to contact rich dynamic tasks, resulting in successful deployment on the robot after training without parameter tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google