Symmetries-enhanced Multi-Agent Reinforcement Learning

要約

マルチエージェント強化学習は、エージェントが複雑で協調的な行動を学習するための強力なフレームワークとして登場したが、その一般化、スケーラビリティ、サンプルの効率性に関する持続的な課題に直面している。最近の進歩は、システムに内在する対称性をポリシーに埋め込むことで、これらの問題を緩和しようとしている。しかし、ほとんどの動的システムは、利用すべき対称性をほとんど示さない。本論文では、マルチエージェントシステムダイナミクスに外在的対称性を埋め込むための新しいフレームワークを提示する。これにより、対称性を強化した手法を用いることで、内在的対称性が不十分なシステムにも対応することが可能となり、等変量学習の範囲を様々なMARL問題に拡大することができる。我々のフレームワークの中心は、分散群タスクのために特別に設計されたグループモジュラーアーキテクチャであるグループ等変量グラフォーマーである。対称性を破ったクワッドローターの群れを用いた広範な実験により、本アプローチの有効性が検証され、汎化の改善とゼロショットのスケーラビリティの可能性が示された。我々の手法は、様々なシナリオと様々なスウォームサイズにおいて、衝突率の大幅な削減を達成し、タスクの成功率を向上させる。

要約(オリジナル)

Multi-agent reinforcement learning has emerged as a powerful framework for enabling agents to learn complex, coordinated behaviors but faces persistent challenges regarding its generalization, scalability and sample efficiency. Recent advancements have sought to alleviate those issues by embedding intrinsic symmetries of the systems in the policy. Yet, most dynamical systems exhibit little to no symmetries to exploit. This paper presents a novel framework for embedding extrinsic symmetries in multi-agent system dynamics that enables the use of symmetry-enhanced methods to address systems with insufficient intrinsic symmetries, expanding the scope of equivariant learning to a wide variety of MARL problems. Central to our framework is the Group Equivariant Graphormer, a group-modular architecture specifically designed for distributed swarming tasks. Extensive experiments on a swarm of symmetry-breaking quadrotors validate the effectiveness of our approach, showcasing its potential for improved generalization and zero-shot scalability. Our method achieves significant reductions in collision rates and enhances task success rates across a diverse range of scenarios and varying swarm sizes.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL