VolleyBots: A Testbed for Multi-Drone Volleyball Game Combining Motion Control and Strategic Play

要約

マルチエージェント補強学習（MARL）は、制御されているが挑戦的なシナリオでのアルゴリズムの体系的な評価を可能にする専門的なテストベッドの開発によって大幅に促進されています。
ただし、既存のテストベッドは、多くの場合、純粋に仮想シミュレーションまたはロボットアーム、四足動物、ヒューマノイドなどの限られたロボットの形態に焦点を当てており、ドローンのような現実世界の物理的制約を備えた高モビリティプラットフォームを残します。
このギャップを埋めるために、複数のドローンが協力し、物理的なダイナミクスの下でバレーボールのスポーツで競争する新しいMarlテストベッドであるバレーボットを紹介します。
バレーボットは、バレーボールルールの下でターンベースの相互作用モデル、モーションコントロールと戦略的プレイを組み合わせた階層的な意思決定プロセス、シームレスなSIMからリアルへの転送のための高忠実度シミュレーションを特徴としています。
シングルドローンドリルからマルチドローン協同組合および競争の激しいタスクに至るまでの包括的なタスクを提供し、Marl代表とゲーム理論アルゴリズムのベースライン評価を伴います。
シミュレーションの結果では、既存のアルゴリズムは単純なタスクを効果的に処理しますが、低レベルの制御と高レベルの戦略の両方を必要とする複雑なタスクで困難に遭遇することが示されています。
さらに、シミュレーションを学んだポリシーのゼロショット展開を実際のドローンに示し、アジャイルロボットプラットフォームを含むMARL研究を推進するバレーボットの可能性を強調しています。
プロジェクトページはhttps://sites.google.com/view/thu-volleybots/homeにあります。

要約(オリジナル)

Multi-agent reinforcement learning (MARL) has made significant progress, largely fueled by the development of specialized testbeds that enable systematic evaluation of algorithms in controlled yet challenging scenarios. However, existing testbeds often focus on purely virtual simulations or limited robot morphologies such as robotic arms, quadrupeds, and humanoids, leaving high-mobility platforms with real-world physical constraints like drones underexplored. To bridge this gap, we present VolleyBots, a new MARL testbed where multiple drones cooperate and compete in the sport of volleyball under physical dynamics. VolleyBots features a turn-based interaction model under volleyball rules, a hierarchical decision-making process that combines motion control and strategic play, and a high-fidelity simulation for seamless sim-to-real transfer. We provide a comprehensive suite of tasks ranging from single-drone drills to multi-drone cooperative and competitive tasks, accompanied by baseline evaluations of representative MARL and game-theoretic algorithms. Results in simulation show that while existing algorithms handle simple tasks effectively, they encounter difficulty in complex tasks that require both low-level control and high-level strategy. We further demonstrate zero-shot deployment of a simulation-learned policy to real-world drones, highlighting VolleyBots’ potential to propel MARL research involving agile robotic platforms. The project page is at https://sites.google.com/view/thu-volleybots/home.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google