Mava: a research library for distributed multi-agent reinforcement learning in JAX

要約

マルチエージェント強化学習 (MARL) 研究は本質的に計算コストが高く、仮説を検証して堅牢な統計的主張を行うのに十分な数の実験サンプルを入手することが困難なことがよくあります。
さらに、MARL アルゴリズムは通常、設計が複雑であり、正しく実装するのが難しい場合があります。
MARL のこれらの側面は、高度な研究に役立つソフトウェアを作成する場合に困難な課題を引き起こします。
このようなソフトウェアに対する当社の基準は、新しいアイデアを迅速に実装するために使用できるほどシンプルであると同時に、それらのアイデアを適切な時間内でテストできるほど拡張性があり、十分に高速である必要があることです。
この予備的な技術レポートでは、これらの基準を満たすことを目的とした、純粋に JAX で書かれた MARL の研究ライブラリである Mava を紹介します。
Mava の設計とコア機能について説明し、さまざまな環境でのその使用法とパフォーマンスを実証します。
特に、強力なパフォーマンスを維持しながら、他の一般的な MARL フレームワークと比較して 10 ～ 100 倍の改善が見られる Mava の速度の大幅な利点を示します。
これにより、研究者はアイデアを数時間ではなく数分でテストできるようになります。
最後に、Mava は、相互にシームレスに統合されるライブラリのエコシステムの一部を形成し、MARL の高度な研究を促進します。
私たちは、Mava がコミュニティに利益をもたらし、この分野で科学的に健全で統計的に堅牢な研究の推進に役立つことを願っています。
Mava のオープンソース リポジトリは、https://github.com/instadeepai/Mava で入手できます。

要約(オリジナル)

Multi-agent reinforcement learning (MARL) research is inherently computationally expensive and it is often difficult to obtain a sufficient number of experiment samples to test hypotheses and make robust statistical claims. Furthermore, MARL algorithms are typically complex in their design and can be tricky to implement correctly. These aspects of MARL present a difficult challenge when it comes to creating useful software for advanced research. Our criteria for such software is that it should be simple enough to use to implement new ideas quickly, while at the same time be scalable and fast enough to test those ideas in a reasonable amount of time. In this preliminary technical report, we introduce Mava, a research library for MARL written purely in JAX, that aims to fulfill these criteria. We discuss the design and core features of Mava, and demonstrate its use and performance across a variety of environments. In particular, we show Mava’s substantial speed advantage, with improvements of 10-100x compared to other popular MARL frameworks, while maintaining strong performance. This allows for researchers to test ideas in a few minutes instead of several hours. Finally, Mava forms part of an ecosystem of libraries that seamlessly integrate with each other to help facilitate advanced research in MARL. We hope Mava will benefit the community and help drive scientifically sound and statistically robust research in the field. The open-source repository for Mava is available at https://github.com/instadeepai/Mava.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google