MARBLER: An Open Platform for Standarized Evaluation of Multi-Robot Reinforcement Learning Algorithms

要約

マルチエージェント強化学習 (MARL) は、ディープラーニングのおかげで、最近大幅な進歩を遂げています。
これは当然ながら、マルチロボット RL (MRRL) の形でマルチロボット システム (MRS) に利益をもたらし始めています。
しかし、ポリシーをトレーニングおよび評価するための既存のインフラストラクチャは主に仮想エージェントの調整における課題に重点を置き、ロボット システムにとって重要な特性を無視しています。
現実的なロボットのダイナミクスをサポートするプラットフォームはほとんどなく、学習された動作の Sim2Real パフォーマンスを評価できるプラットフォームはさらに少ないです。
これらの問題に対処するために、私たちは MARBLER: Multi-Agent RL Benchmark と Robotarium の学習環境を提供します。
MARBLER は、ジョージア工科大学の Robotarium (物理的な MRS でのラピッド プロトタイピングを可能にする) と OpenAI の Gym フレームワーク (最新の学習アルゴリズムの標準化された使用を容易にする) を組み合わせることで、MRRL のための堅牢かつ包括的な評価プラットフォームを提供します。
MARBLER は、バリア証明書ベースの障害物回避など、現実的なダイナミクスを備えた高度に制御可能な環境を提供します。
これにより、世界中の誰もが再現性をもって物理的なテストベッド上で MRRL アルゴリズムをトレーニングし、展開することができます。
さらに、MRS の一般的な課題に触発された 5 つの新しいシナリオを導入し、新しいカスタム シナリオのサポートを提供します。
最後に、MARBLER を使用して一般的な MARL アルゴリズムを評価し、MRRL への適合性についての洞察を提供します。
要約すると、MARBLER は、現実的なシミュレーションと物理ハードウェアでの学習アルゴリズムの包括的かつ標準化された評価を促進することにより、MRS 研究コミュニティにとって貴重なツールとなり得ます。
オープンソース フレームワークと実際の実験のビデオへのリンクは、https://shubhlohiya.github.io/MARBLER/ でご覧いただけます。

要約(オリジナル)

Multi-agent reinforcement learning (MARL) has enjoyed significant recent progress, thanks to deep learning. This is naturally starting to benefit multi-robot systems (MRS) in the form of multi-robot RL (MRRL). However, existing infrastructure to train and evaluate policies predominantly focus on challenges in coordinating virtual agents, and ignore characteristics important to robotic systems. Few platforms support realistic robot dynamics, and fewer still can evaluate Sim2Real performance of learned behavior. To address these issues, we contribute MARBLER: Multi-Agent RL Benchmark and Learning Environment for the Robotarium. MARBLER offers a robust and comprehensive evaluation platform for MRRL by marrying Georgia Tech’s Robotarium (which enables rapid prototyping on physical MRS) and OpenAI’s Gym framework (which facilitates standardized use of modern learning algorithms). MARBLER offers a highly controllable environment with realistic dynamics, including barrier certificate-based obstacle avoidance. It allows anyone across the world to train and deploy MRRL algorithms on a physical testbed with reproducibility. Further, we introduce five novel scenarios inspired by common challenges in MRS and provide support for new custom scenarios. Finally, we use MARBLER to evaluate popular MARL algorithms and provide insights into their suitability for MRRL. In summary, MARBLER can be a valuable tool to the MRS research community by facilitating comprehensive and standardized evaluation of learning algorithms on realistic simulations and physical hardware. Links to our open-source framework and the videos of real-world experiments can be found at https://shubhlohiya.github.io/MARBLER/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google