Symmetries-enhanced Multi-Agent Reinforcement Learning

要約

マルチエージェントの強化学習は、エージェントが複雑で調整された行動を学習できるようにするための強力なフレームワークとして浮上していますが、その一般化、スケーラビリティ、サンプル効率に関する持続的な課題に直面しています。
最近の進歩は、ポリシーにシステムの固有の対称性を埋め込むことにより、これらの問題を軽減しようとしています。
しかし、ほとんどの動的システムは、悪用する対称性をほとんどまたはまったく示しません。
この論文では、対称性を強化するメソッドを使用して、本質的な対称性が不十分であるシステムに対処し、等量学習の範囲をさまざまなMARL問題に拡大できるように、マルチエージェントシステムダイナミクスに外因性対称性を埋め込むための新しいフレームワークを紹介します。
私たちのフレームワークの中心は、分散群れタスク用に特別に設計されたグループモジュラーアーキテクチャであるGroup Equivariant Graphormerです。
対称性を破る四つの群れに関する広範な実験は、私たちのアプローチの有効性を検証し、一般化の改善とゼロショットのスケーラビリティの可能性を示しています。
私たちの方法は、衝突率の大幅な低下を達成し、多様なシナリオとさまざまな群れサイズでタスクの成功率を高めます。

要約(オリジナル)

Multi-agent reinforcement learning has emerged as a powerful framework for enabling agents to learn complex, coordinated behaviors but faces persistent challenges regarding its generalization, scalability and sample efficiency. Recent advancements have sought to alleviate those issues by embedding intrinsic symmetries of the systems in the policy. Yet, most dynamical systems exhibit little to no symmetries to exploit. This paper presents a novel framework for embedding extrinsic symmetries in multi-agent system dynamics that enables the use of symmetry-enhanced methods to address systems with insufficient intrinsic symmetries, expanding the scope of equivariant learning to a wide variety of MARL problems. Central to our framework is the Group Equivariant Graphormer, a group-modular architecture specifically designed for distributed swarming tasks. Extensive experiments on a swarm of symmetry-breaking quadrotors validate the effectiveness of our approach, showcasing its potential for improved generalization and zero-shot scalability. Our method achieves significant reductions in collision rates and enhances task success rates across a diverse range of scenarios and varying swarm sizes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google