Selectively Sharing Experiences Improves Multi-Agent Reinforcement Learning

要約

我々は、エージェントがトレーニング中に観察した限られた数の遷移を他のエージェントと共有する、新しいマルチエージェント RL アプローチである選択的マルチエージェント優先エクスペリエンス リレーを提案します。
この背後にある直感は、他のエージェントからの関連する経験がたとえ少数であっても、各エージェントの学習に役立つ可能性があるということです。
他の多くのマルチエージェント RL アルゴリズムとは異なり、このアプローチでは、エージェント間の通信チャネルが限られているだけで、大部分が分散型トレーニングが可能になります。
私たちのアプローチは、ベースラインの非共有分散トレーニングや最先端の​​マルチエージェント RL アルゴリズムよりも優れたパフォーマンスを発揮することを示します。
さらに、少数の関連性の高いエクスペリエンスのみを共有することは、エージェント間ですべてのエクスペリエンスを共有するよりも優れたパフォーマンスを発揮し、選択的なエクスペリエンス共有によるパフォーマンスの向上は、さまざまなハイパーパラメーターと DQN バリアントにわたって確実です。
私たちのアルゴリズムのリファレンス実装は、https://github.com/mgerstgrasser/super で入手できます。

要約(オリジナル)

We present a novel multi-agent RL approach, Selective Multi-Agent Prioritized Experience Relay, in which agents share with other agents a limited number of transitions they observe during training. The intuition behind this is that even a small number of relevant experiences from other agents could help each agent learn. Unlike many other multi-agent RL algorithms, this approach allows for largely decentralized training, requiring only a limited communication channel between agents. We show that our approach outperforms baseline no-sharing decentralized training and state-of-the art multi-agent RL algorithms. Further, sharing only a small number of highly relevant experiences outperforms sharing all experiences between agents, and the performance uplift from selective experience sharing is robust across a range of hyperparameters and DQN variants. A reference implementation of our algorithm is available at https://github.com/mgerstgrasser/super.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google