Curriculum-Based Reinforcement Learning for Quadrupedal Jumping: A Reference-free Design

要約

深層強化学習 (DRL) は、爆発的で多彩な四足ジャンプ スキルを習得するための有望なソリューションとして浮上しています。
ただし、現在の DRL ベースのフレームワークは通常、動物の動きをキャプチャしたり、既存のコントローラーから経験を転送したりすることによって取得される、明確に定義された参照軌道に依存しています。
この研究では、基準軌道を模倣せずにダイナミックなジャンプを学習する可能性を探ります。
この目的のために、私たちは、難しい課題を段階的に達成できるように、DRL にカリキュラム設計を組み込みます。
垂直その場ジャンプから始めて、学習したポリシーを前方ジャンプと斜めジャンプに一般化し、最後に障害物を飛び越える方法を学習します。
提案されたアプローチは、望ましい着地位置、向き、障害物の寸法を条件として、全方向ジャンプやロバストなジャンプなどの幅広いジャンプ動作に貢献し、事前に参照を抽出する労力を軽減します。
特に、基準動作による制約を受けることなく、既存の文献で報告されている同様のロボットのこれまでの記録を超える、90cm の前方ジャンプが達成されました。
さらに、訓練段階では遭遇しない場合でも、柔らかい芝生の床での連続ジャンプが達成されます。
結果を示す補足ビデオは https://youtu.be/nRaMCrwU5X8 でご覧いただけます。

要約(オリジナル)

Deep reinforcement learning (DRL) has emerged as a promising solution to mastering explosive and versatile quadrupedal jumping skills. However, current DRL-based frameworks usually rely on well-defined reference trajectories, which are obtained by capturing animal motions or transferring experience from existing controllers. This work explores the possibility of learning dynamic jumping without imitating a reference trajectory. To this end, we incorporate a curriculum design into DRL so as to accomplish challenging tasks progressively. Starting from a vertical in-place jump, we then generalize the learned policy to forward and diagonal jumps and, finally, learn to jump across obstacles. Conditioned on the desired landing location, orientation, and obstacle dimensions, the proposed approach contributes to a wide range of jumping motions, including omnidirectional jumping and robust jumping, alleviating the effort to extract references in advance. Particularly, without constraints from the reference motion, a 90cm forward jump is achieved, exceeding previous records for similar robots reported in the existing literature. Additionally, continuous jumping on the soft grassy floor is accomplished, even when it is not encountered in the training stage. A supplementary video showing our results can be found at https://youtu.be/nRaMCrwU5X8 .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google