Two-Stage Learning of Highly Dynamic Motions with Rigid and Articulated Soft Quadrupeds

要約

四足歩行ロボット、特に多関節の軟体を備えたロボットにおける動的動作の制御された実行には、従来の方法では効率的に対処するのが難しい一連の特有の課題が存在します。
この研究では、四足歩行ロボットの動的モーションを生成するためのシンプルかつ効果的な 2 段階の学習フレームワークに依存して、これらの問題に取り組みます。
まず、勾配のない進化戦略を採用して、単純に表現された制御ポリシーを発見し、事前定義された参照モーションの必要性を排除します。
次に、深層強化学習を使用してこれらのポリシーを改良します。
私たちのアプローチにより、プロンクやバックフリップなどの複雑な動作をゼロから効果的に習得することができます。
さらに、私たちの方法は、報酬形成という従来の労働集約的なタスクを簡素化し、学習プロセスの効率を高めます。
重要なのは、私たちのフレームワークは、関節式の軟四足動物に特に効果的であることが証明されており、その固有のコンプライアンスと適応性により、動的タスクには理想的ですが、独特の制御の課題も生じます。

要約(オリジナル)

Controlled execution of dynamic motions in quadrupedal robots, especially those with articulated soft bodies, presents a unique set of challenges that traditional methods struggle to address efficiently. In this study, we tackle these issues by relying on a simple yet effective two-stage learning framework to generate dynamic motions for quadrupedal robots. First, a gradient-free evolution strategy is employed to discover simply represented control policies, eliminating the need for a predefined reference motion. Then, we refine these policies using deep reinforcement learning. Our approach enables the acquisition of complex motions like pronking and back-flipping, effectively from scratch. Additionally, our method simplifies the traditionally labour-intensive task of reward shaping, boosting the efficiency of the learning process. Importantly, our framework proves particularly effective for articulated soft quadrupeds, whose inherent compliance and adaptability make them ideal for dynamic tasks but also introduce unique control challenges.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google