Leveraging Partial Symmetry for Multi-Agent Reinforcement Learning

要約

帰納的バイアスとして対称性をマルチエージェント強化学習 (MARL) に組み込むことで、一般化、データ効率、物理的一貫性の向上が実現しました。
従来の研究では完全な対称性を利用することに成功しましたが、マルチエージェント領域における部分的な対称性の領域は未開拓のままです。
このギャップを埋めるために、マルコフ ゲームの新しいサブクラスである部分対称マルコフ ゲームを導入します。
次に、MARL で対称性を利用することによって導入されるパフォーマンス エラーには限界があることを理論的に示し、部分的な対称性の状況であっても、事前の対称性が MARL で依然として有用である可能性があることを意味します。
この洞察に基づいて、我々は、さまざまな対称破れ条件下で MARL に事前の対称を適応的に組み込むことができる部分対称利用 (PSE) フレームワークを提案します。
具体的には、対称性の利用を適応的に調整することにより、私たちのフレームワークは優れたサンプル効率と MARL アルゴリズムの全体的なパフォーマンスを達成できます。
提案されたフレームワークのベースラインを上回る優れたパフォーマンスを実証するために、広範な実験が行われています。
最後に、提案されたフレームワークを現実世界のマルチロボット テストベッドに実装して、その優位性を示します。

要約(オリジナル)

Incorporating symmetry as an inductive bias into multi-agent reinforcement learning (MARL) has led to improvements in generalization, data efficiency, and physical consistency. While prior research has succeeded in using perfect symmetry prior, the realm of partial symmetry in the multi-agent domain remains unexplored. To fill in this gap, we introduce the partially symmetric Markov game, a new subclass of the Markov game. We then theoretically show that the performance error introduced by utilizing symmetry in MARL is bounded, implying that the symmetry prior can still be useful in MARL even in partial symmetry situations. Motivated by this insight, we propose the Partial Symmetry Exploitation (PSE) framework that is able to adaptively incorporate symmetry prior in MARL under different symmetry-breaking conditions. Specifically, by adaptively adjusting the exploitation of symmetry, our framework is able to achieve superior sample efficiency and overall performance of MARL algorithms. Extensive experiments are conducted to demonstrate the superior performance of the proposed framework over baselines. Finally, we implement the proposed framework in real-world multi-robot testbed to show its superiority.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google