Toward Real-World Cooperative and Competitive Soccer with Quadrupedal Robot Teams

要約

脚のあるロボット間で調整されたチームワークを達成するには、きめ細かい運動制御と長老の戦略的意思決定の両方が必要です。
ロボットサッカーは、このチャレンジの説得力のあるテストベッドを提供し、動的、競争力、およびマルチエージェントの相互作用を組み合わせています。
この作業では、完全に自律的で分散化された四足動物サッカーを可能にする階層的なマルチエージェント補強学習（MARL）フレームワークを紹介します。
まず、一連の非常にダイナミックな低レベルのスキルが、歩行、ドリブル、キッキングなどの足の移動とボール操作のために訓練されています。
これらに加えて、高レベルの戦略的計画ポリシーは、架空の自己プレイ（FSP）を介して多象徴的な近位政策最適化（MAPPO）で訓練されています。
この学習フレームワークにより、エージェントは多様な相手戦略に適応し、調整された合格、傍受、動的な役割の割り当てなど、洗練されたチームの行動を引き起こします。
広範なアブレーション研究により、提案された学習方法は、協同組合で競争力のあるマルチエージェントサッカーゲームに大きな利点を示しています。
屋内および屋外のサッカーコートでの自律的なロボットロボットとロボットヒューマンサッカーの試合をサポートする、結果として生じるシステムがオンボードの固有受容と分散型ローカリゼーションのみに依存して、学んだポリシーを実際の四足動物に展開します。

要約(オリジナル)

Achieving coordinated teamwork among legged robots requires both fine-grained locomotion control and long-horizon strategic decision-making. Robot soccer offers a compelling testbed for this challenge, combining dynamic, competitive, and multi-agent interactions. In this work, we present a hierarchical multi-agent reinforcement learning (MARL) framework that enables fully autonomous and decentralized quadruped robot soccer. First, a set of highly dynamic low-level skills is trained for legged locomotion and ball manipulation, such as walking, dribbling, and kicking. On top of these, a high-level strategic planning policy is trained with Multi-Agent Proximal Policy Optimization (MAPPO) via Fictitious Self-Play (FSP). This learning framework allows agents to adapt to diverse opponent strategies and gives rise to sophisticated team behaviors, including coordinated passing, interception, and dynamic role allocation. With an extensive ablation study, the proposed learning method shows significant advantages in the cooperative and competitive multi-agent soccer game. We deploy the learned policies to real quadruped robots relying solely on onboard proprioception and decentralized localization, with the resulting system supporting autonomous robot-robot and robot-human soccer matches on indoor and outdoor soccer courts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google