要約
ロボカップ 3D サッカー シミュレーション リーグは、シミュレートされたサッカーの試合を通じて自律型ヒューマノイド ロボット エージェントのイノベーションを紹介するための競争プラットフォームとして機能します。
私たちのチーム、FC ポルトガルは、ロボカップ 2021 の後、Python で新しいコードベースをゼロから開発しました。チームのパフォーマンスは、新しい統合プリミティブと、近接ポリシー最適化アルゴリズムのカスタムの対称拡張バージョンを中心とした一連のスキルに基づいています。
私たちのメソッドは、2022 年と 2023 年のロボカップ公式試合で徹底的にテストされており、FC ポルトガルは 2022 年と 2023 年の主要な 2 つの大会で優勝しました。この文書では、私たちのトレーニング フレームワークと、スキルセットのプリミティブを使用して開発されたスキルのタイムラインを紹介します。
これにより、サンプルの効率とスキルの安定性が大幅に向上し、シームレスな移行が促進されます。
2021年に開発された大幅に速いスプリントキックから始まり、多目的な全方向ウォーク、これまでにないボールコントロールのドリブル、確かなキック、プッシュスキルを含む最新のスキルセットに進みます。
プッシュは、衝突が起こりやすい低レベルのシナリオと、ボールポゼッションを高めるための高レベルの戦略の両方に取り組みます。
私たちは、革新的なマルチエージェント学習アプローチを通じて、このタスクのリソース集約型の性質に対処します。
最後に、チームのコードベースをロボカップ コミュニティにリリースします。これにより、他のチームがより簡単に Python に移行できるようになり、新しいチームに新しい機能を構築できる堅牢で最新の基盤が提供されます。
要約(オリジナル)
The RoboCup 3D Soccer Simulation League serves as a competitive platform for showcasing innovation in autonomous humanoid robot agents through simulated soccer matches. Our team, FC Portugal, developed a new codebase from scratch in Python after RoboCup 2021. The team’s performance is based on a set of skills centered around novel unifying primitives and a custom, symmetry-extended version of the Proximal Policy Optimization algorithm. Our methods have been thoroughly tested in official RoboCup matches, where FC Portugal has won the last two main competitions, in 2022 and 2023. This paper presents our training framework, as well as a timeline of skills developed using our skill-set-primitives, which considerably improve the sample efficiency and stability of skills, and motivate seamless transitions. We start with a significantly fast sprint-kick developed in 2021 and progress to the most recent skill set, which includes a multi-purpose omnidirectional walk, a dribble with unprecedented ball control, a solid kick, and a push skill. The push tackles both low-level collision-prone scenarios and high-level strategies to increase ball possession. We address the resource-intensive nature of this task through an innovative multi-agent learning approach. Finally, we release the codebase of our team to the RoboCup community, enabling other teams to transition to Python more easily and providing new teams with a robust and modern foundation upon which they can build new features.
arxiv情報
| 著者 | Miguel Abreu,Luis Paulo Reis,Nuno Lau |
| 発行日 | 2023-12-22 01:22:18+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google