SMACv2: An Improved Benchmark for Cooperative Multi-Agent Reinforcement Learning

要約

困難なベンチマークが利用できることは、機械学習の最近の進歩において重要な役割を果たしています。
協調的なマルチエージェント強化学習では、StarCraft Multi-Agent Challenge (SMAC) が、分散実行による集中トレーニングの人気のテストベッドとなっています。
しかし、SMAC の長年にわたる継続的な改善を経て、現在ではアルゴリズムはほぼ完璧なパフォーマンスを達成しています。
この研究では、SMAC には複雑な *閉ループ* ポリシーを必要とする確率性と部分的な可観測性が欠けていることを示す新しい分析を実施しました。
特に、タイムステップのみを条件とする *開ループ* ポリシーが、多くの SMAC シナリオで重要な勝率を達成できることを示します。
この制限に対処するために、シナリオが手続き的に生成され、エージェントが評価中に以前は見られなかった設定 (同じディストリビューションからの) に一般化する必要があるベンチマークの新しいバージョンである SMACv2 を導入します。
また、意味のある部分可観測性を確保するために SMACv2 を強化する拡張部分可観測性チャレンジ (EPO) も導入します。
これらの変更により、ベンチマークでは *閉ループ* ポリシーの使用が確実に必要になることがわかります。
SMACv2 で最先端のアルゴリズムを評価し、元のベンチマークには存在しなかった重大な課題が存在することを示しました。
私たちの分析は、SMACv2 が SMAC の発見された欠陥に対処し、次世代の MARL メソッドのベンチマークに役立つことを示しています。
トレーニングのビデオは https://sites.google.com/view/smacv2 でご覧いただけます。

要約(オリジナル)

The availability of challenging benchmarks has played a key role in the recent progress of machine learning. In cooperative multi-agent reinforcement learning, the StarCraft Multi-Agent Challenge (SMAC) has become a popular testbed for centralised training with decentralised execution. However, after years of sustained improvement on SMAC, algorithms now achieve near-perfect performance. In this work, we conduct new analysis demonstrating that SMAC lacks the stochasticity and partial observability to require complex *closed-loop* policies. In particular, we show that an *open-loop* policy conditioned only on the timestep can achieve non-trivial win rates for many SMAC scenarios. To address this limitation, we introduce SMACv2, a new version of the benchmark where scenarios are procedurally generated and require agents to generalise to previously unseen settings (from the same distribution) during evaluation. We also introduce the extended partial observability challenge (EPO), which augments SMACv2 to ensure meaningful partial observability. We show that these changes ensure the benchmark requires the use of *closed-loop* policies. We evaluate state-of-the-art algorithms on SMACv2 and show that it presents significant challenges not present in the original benchmark. Our analysis illustrates that SMACv2 addresses the discovered deficiencies of SMAC and can help benchmark the next generation of MARL methods. Videos of training are available at https://sites.google.com/view/smacv2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google