MAexp: A Generic Platform for RL-based Multi-Agent Exploration

要約

シミュレーションとリアルのギャップは、シーンの量子化とアクションの離散化により、RL ベースのマルチエージェント探索において重大な課題を引き起こします。
既存のプラットフォームは、サンプリングの非効率性と、さまざまなシナリオにわたるマルチエージェント強化学習 (MARL) アルゴリズムの多様性の欠如に悩まされており、広範なアプリケーションの妨げとなっています。
これらのギャップを埋めるために、幅広い最先端の MARL アルゴリズムと代表的なシナリオを統合する、マルチエージェント探索のための汎用プラットフォームである MAexp を提案します。
さらに、探査シナリオを表すために点群を採用し、高忠実度の環境マッピングと既存のプラットフォームよりも約 40 倍速いサンプリング速度を実現しました。
さらに、アテンションベースのマルチエージェント ターゲット ジェネレーターとシングル エージェント モーション プランナーを備えた MAexp は、任意の数のエージェントと連携し、さまざまなタイプのロボットに対応できます。
連続動作を行うロボットの典型的なシナリオにわたって、いくつかの高性能 MARL アルゴリズムを特徴とする最初のベンチマークを確立するために広範な実験が実施され、さまざまなシナリオにおける各アルゴリズムの明確な強みが強調されます。

要約(オリジナル)

The sim-to-real gap poses a significant challenge in RL-based multi-agent exploration due to scene quantization and action discretization. Existing platforms suffer from the inefficiency in sampling and the lack of diversity in Multi-Agent Reinforcement Learning (MARL) algorithms across different scenarios, restraining their widespread applications. To fill these gaps, we propose MAexp, a generic platform for multi-agent exploration that integrates a broad range of state-of-the-art MARL algorithms and representative scenarios. Moreover, we employ point clouds to represent our exploration scenarios, leading to high-fidelity environment mapping and a sampling speed approximately 40 times faster than existing platforms. Furthermore, equipped with an attention-based Multi-Agent Target Generator and a Single-Agent Motion Planner, MAexp can work with arbitrary numbers of agents and accommodate various types of robots. Extensive experiments are conducted to establish the first benchmark featuring several high-performance MARL algorithms across typical scenarios for robots with continuous actions, which highlights the distinct strengths of each algorithm in different scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google