Fully Independent Communication in Multi-Agent Reinforcement Learning

要約

マルチエージェント強化学習 (MARL) は、マルチエージェント システムの分野内の幅広い研究領域を構成します。
最近の研究のいくつかは、特に MARL におけるコミュニケーション アプローチの研究に焦点を当てています。
複数の通信方法が提案されていますが、これらはまだ複雑すぎる可能性があり、より実用的なコンテキストに簡単に移行できない可能性があります。
その理由の 1 つは、有名なパラメータ共有トリックの使用によるものです。
この論文では、パラメータを共有しない MARL の独立した学習者がどのようにコミュニケーションできるかを調査します。
この設定によりいくつかの問題が発生する可能性があることを実証し、その解決策として新しい学習スキームを提案します。
私たちの結果は、課題にもかかわらず、独立したエージェントが私たちの方法に従ってコミュニケーション戦略を学習できることを示しています。
さらに、この方法を使用して、パラメータを共有する場合と共有しない場合の両方の異なるネットワーク容量によって MARL の通信がどのような影響を受けるかを調査します。
通信が常に必要なわけではないこと、効率的な学習を達成するために通信と併用する場合には、選択したエージェント ネットワーク サイズを考慮する必要があることがわかりました。

要約(オリジナル)

Multi-Agent Reinforcement Learning (MARL) comprises a broad area of research within the field of multi-agent systems. Several recent works have focused specifically on the study of communication approaches in MARL. While multiple communication methods have been proposed, these might still be too complex and not easily transferable to more practical contexts. One of the reasons for that is due to the use of the famous parameter sharing trick. In this paper, we investigate how independent learners in MARL that do not share parameters can communicate. We demonstrate that this setting might incur into some problems, to which we propose a new learning scheme as a solution. Our results show that, despite the challenges, independent agents can still learn communication strategies following our method. Additionally, we use this method to investigate how communication in MARL is affected by different network capacities, both for sharing and not sharing parameters. We observe that communication may not always be needed and that the chosen agent network sizes need to be considered when used together with communication in order to achieve efficient learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google