Designing a skilled soccer team for RoboCup: exploring skill-set-primitives through reinforcement learning

要約

Robocup 3Dサッカーシミュレーションリーグは、シミュレートされたサッカーマッチを通じて、自律的なヒューマノイドロボットエージェントのイノベーションを紹介するための競争力のあるプラットフォームとして機能します。
私たちのチームであるFCポルトガルは、Robocup 2021の後にPythonで新しいコードベースをPythonでゼロから開発しました。チームのパフォーマンスは、新しい統一プリミティブと近位ポリシー最適化アルゴリズムのカスタム、対称性拡張バージョンを中心とした一連のスキルに依存しています。
私たちの方法は、FCポルトガルが2022年と2023年に最後の2つの主要な競技で優勝した公式のロボカップマッチで徹底的にテストされています。このホワイトペーパーでは、スキルセットプリミティブを使用して開発されたスキルのタイムラインを紹介し、スキルのサンプル効率と安定性を大幅に改善し、シームレスな移行を動機付けます。
2021年に開発された大幅な速いスプリントキックから始めて、多目的の全方向性ウォーク、前例のないボールコントロールを備えたドリブル、堅実なキック、プッシュスキルなど、最新のスキルセットに進みます。
プッシュは、低レベルの衝突シナリオとボールの所有を増やすための高レベルの戦略に対処します。
革新的なマルチエージェント学習アプローチを通じて、このタスクのリソース集約的な性質に対処します。
最後に、チームのコードベースをRobocupコミュニティにリリースし、他のチームに新しい機能を構築できる堅牢でモダンな基盤を提供します。

要約(オリジナル)

The RoboCup 3D Soccer Simulation League serves as a competitive platform for showcasing innovation in autonomous humanoid robot agents through simulated soccer matches. Our team, FC Portugal, developed a new codebase from scratch in Python after RoboCup 2021. The team’s performance relies on a set of skills centered around novel unifying primitives and a custom, symmetry-extended version of the Proximal Policy Optimization algorithm. Our methods have been thoroughly tested in official RoboCup matches, where FC Portugal has won the last two main competitions, in 2022 and 2023. This paper presents our training framework, as well as a timeline of skills developed using our skill-set-primitives, which considerably improve the sample efficiency and stability of skills, and motivate seamless transitions. We start with a significantly fast sprint-kick developed in 2021 and progress to the most recent skill set, including a multi-purpose omnidirectional walk, a dribble with unprecedented ball control, a solid kick, and a push skill. The push addresses low-level collision scenarios and high-level strategies to increase ball possession. We address the resource-intensive nature of this task through an innovative multi-agent learning approach. Finally, we release the team’s codebase to the RoboCup community, providing other teams with a robust and modern foundation upon which they can build new features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google