ESP: Exploiting Symmetry Prior for Multi-Agent Reinforcement Learning

要約

マルチエージェント強化学習 (MARL) は近年、有望な成果を上げています。
ただし、既存の強化学習手法のほとんどは、モデルのトレーニングに大量のデータを必要とします。
さらに、データ効率の高い強化学習には強力な帰納的バイアスの構築が必要ですが、現在の MARL アプローチでは無視されています。
マルチエージェント システムの対称現象に触発されたこの論文では、データ拡張と適切に設計された一貫性損失を既存の MARL 手法に統合することにより、事前知識を活用するためのフレームワークを提案します。
さらに、提案されたフレームワークはモデルに依存せず、現在の MARL アルゴリズムのほとんどに適用できます。
複数の困難なタスクに関する実験テストにより、提案されたフレームワークの有効性が実証されています。
さらに、提案されたフレームワークを物理マルチロボットテストベッドに適用して、その優位性を示します。

要約(オリジナル)

Multi-agent reinforcement learning (MARL) has achieved promising results in recent years. However, most existing reinforcement learning methods require a large amount of data for model training. In addition, data-efficient reinforcement learning requires the construction of strong inductive biases, which are ignored in the current MARL approaches. Inspired by the symmetry phenomenon in multi-agent systems, this paper proposes a framework for exploiting prior knowledge by integrating data augmentation and a well-designed consistency loss into the existing MARL methods. In addition, the proposed framework is model-agnostic and can be applied to most of the current MARL algorithms. Experimental tests on multiple challenging tasks demonstrate the effectiveness of the proposed framework. Moreover, the proposed framework is applied to a physical multi-robot testbed to show its superiority.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google