Two-Stage Learning of Highly Dynamic Motions with Rigid and Articulated Soft Quadrupeds

要約

四足歩行ロボット、特に多関節のソフトボディを持つロボットにおける動的モーションの制御実行は、従来の手法では効率的に対処することが困難な、ユニークな一連の課題を提示している。本研究では、4足歩行ロボットの動的モーションを生成するために、シンプルかつ効果的な2段階の学習フレームワークに依存することで、これらの課題に取り組む。まず、勾配のない進化戦略を採用し、単純に表現された制御方針を発見することで、事前に定義された基準運動を不要にする。次に、深層強化学習を用いてこれらの制御方針を改良する。我々のアプローチにより、プロンキングやバックフリップのような複雑なモーションを、ゼロから効果的に獲得することが可能となる。さらに、本手法は、従来労働集約的であった報酬の整形作業を単純化し、学習プロセスの効率を高める。重要なことは、我々のフレームワークが多関節軟体四脚に特に有効であることである。多関節軟体四脚は、固有のコンプライアンスと適応性により、ダイナミックなタスクに理想的であるが、同時に制御上のユニークな課題ももたらす。

要約(オリジナル)

Controlled execution of dynamic motions in quadrupedal robots, especially those with articulated soft bodies, presents a unique set of challenges that traditional methods struggle to address efficiently. In this study, we tackle these issues by relying on a simple yet effective two-stage learning framework to generate dynamic motions for quadrupedal robots. First, a gradient-free evolution strategy is employed to discover simply represented control policies, eliminating the need for a predefined reference motion. Then, we refine these policies using deep reinforcement learning. Our approach enables the acquisition of complex motions like pronking and back-flipping, effectively from scratch. Additionally, our method simplifies the traditionally labour-intensive task of reward shaping, boosting the efficiency of the learning process. Importantly, our framework proves particularly effective for articulated soft quadrupeds, whose inherent compliance and adaptability make them ideal for dynamic tasks but also introduce unique control challenges.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL