Dynamic Legged Ball Manipulation on Rugged Terrains with Hierarchical Reinforcement Learning

要約

複雑な地形での四足ロボットの動的な局所操作機能を進めることは、多様なタスクを実行するために重要です。
具体的には、頑丈な環境での動的なボール操作には、2つの重要な課題があります。
1つ目は、地形のトラバーサルとボールコントロールをシームレスに統合するための明確な動きのモダリティを調整することです。
2つ目は、効率的な政策収束を妨げるエンドツーエンドの深い強化学習におけるまばらな報酬を克服することです。
これらの課題に対処するために、階層的強化学習フレームワークを提案します。
固有受容データとボールの位置によって通知される高レベルのポリシーは、ボールドリブルやラフな地形ナビゲーションなどの事前に訓練された低レベルのスキルを適応的に切り替えます。
さらに、非アクティブなスキルから勾配を抑制し、重要なスキル学習を強化するための動的なスキル重視のポリシー最適化を提案します。
シミュレーションと現実世界の実験の両方で、私たちの方法は、頑丈な地形を横切る動的なボール操作におけるベースラインアプローチよりも優れていることを検証し、困難な環境での有効性を強調しています。
ビデオは当社のWebサイトにあります：Dribble-hrl.github.io。

要約(オリジナル)

Advancing the dynamic loco-manipulation capabilities of quadruped robots in complex terrains is crucial for performing diverse tasks. Specifically, dynamic ball manipulation in rugged environments presents two key challenges. The first is coordinating distinct motion modalities to integrate terrain traversal and ball control seamlessly. The second is overcoming sparse rewards in end-to-end deep reinforcement learning, which impedes efficient policy convergence. To address these challenges, we propose a hierarchical reinforcement learning framework. A high-level policy, informed by proprioceptive data and ball position, adaptively switches between pre-trained low-level skills such as ball dribbling and rough terrain navigation. We further propose Dynamic Skill-Focused Policy Optimization to suppress gradients from inactive skills and enhance critical skill learning. Both simulation and real-world experiments validate that our methods outperform baseline approaches in dynamic ball manipulation across rugged terrains, highlighting its effectiveness in challenging environments. Videos are on our website: dribble-hrl.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google