Learning Quadruped Locomotion Policies using Logical Rules

要約

四足動物は、多様な移動歩行を示すことができます。
ロボット上でそのような歩行を実証することは進んでいますが、現在の方法は動作事前分布、力学モデル、またはその他の形式の広範な手作業に依存しています。
人々は自然言語を使用してダンスの動きを説明できます。
形式言語を使用して四足歩行を指定できるでしょうか?
この目的のために、私たちは、簡単な歩行指定と効率的なポリシー学習を可能にすることを目指しています。
足の接触による高レベルの歩行仕様に Reward Machines~(RM) を活用する私たちのアプローチは、RM ベースの歩行学習~(RMLL) と呼ばれ、実行時の歩行頻度の調整をサポートします。
歩容の指定は、歩容ごとにいくつかの論理ルール (前足と後ろ足を交互に動かすなど) を使用することで可能になり、労力を要する事前の動作を必要としません。
シミュレーションでの実験結果は、学習された歩容の多様性 (2 つの新しい歩容を含む)、異なる地形でのエネルギー消費と安定性、ベースラインと比較した場合の優れたサンプル効率を強調しています。
また、これらの学習されたポリシーを実際の四足ロボットを使って実証します。
ビデオと補足資料: https://sites.google.com/view/rm-locomotion-learning/home

要約(オリジナル)

Quadruped animals are capable of exhibiting a diverse range of locomotion gaits. While progress has been made in demonstrating such gaits on robots, current methods rely on motion priors, dynamics models, or other forms of extensive manual efforts. People can use natural language to describe dance moves. Could one use a formal language to specify quadruped gaits? To this end, we aim to enable easy gait specification and efficient policy learning. Leveraging Reward Machines~(RMs) for high-level gait specification over foot contacts, our approach is called RM-based Locomotion Learning~(RMLL), and supports adjusting gait frequency at execution time. Gait specification is enabled through the use of a few logical rules per gait (e.g., alternate between moving front feet and back feet) and does not require labor-intensive motion priors. Experimental results in simulation highlight the diversity of learned gaits (including two novel gaits), their energy consumption and stability across different terrains, and the superior sample-efficiency when compared to baselines. We also demonstrate these learned policies with a real quadruped robot. Video and supplementary materials: https://sites.google.com/view/rm-locomotion-learning/home

arxiv情報

提供元, 利用サービス

arxiv.jp, Google