Scalability of Message Encoding Techniques for Continuous Communication Learned with Multi-Agent Reinforcement Learning

要約

多くのマルチエージェント システムでは、目的を適切に達成するためにエージェント間の通信が必要です。
マルチエージェント強化学習技術を使用してアクション プロトコルと並行して通信プロトコルを学習することにより、エージェントはどの情報を共有する必要があるかを決定する柔軟性を獲得します。
ただし、エージェントの数が増えると、これらのメッセージに含まれる情報のエンコードを作成する必要があります。
この論文では、メッセージに含めるべき情報量の増加とエージェントの数の増加の影響を調査します。
これらの効果を、平均メッセージ エンコーダとアテンション メッセージ エンコーダという 2 つの異なるメッセージ エンコード方法で評価します。
私たちはマトリックス環境で実験を実行します。
驚くべきことに、私たちの結果は、平均メッセージ エンコーダが一貫して注意メッセージ エンコーダよりも優れていることを示しています。
したがって、平均メッセージ エンコーダを使用するエージェントによって使用される通信プロトコルを分析し、平均メッセージ エンコーダを適用した後の重要な情報の損失を避けるために、エージェントが通信ポリシーで指数関数と対数関数の組み合わせを使用していると結論付けることができます。
。

要約(オリジナル)

Many multi-agent systems require inter-agent communication to properly achieve their goal. By learning the communication protocol alongside the action protocol using multi-agent reinforcement learning techniques, the agents gain the flexibility to determine which information should be shared. However, when the number of agents increases we need to create an encoding of the information contained in these messages. In this paper, we investigate the effect of increasing the amount of information that should be contained in a message and increasing the number of agents. We evaluate these effects on two different message encoding methods, the mean message encoder and the attention message encoder. We perform our experiments on a matrix environment. Surprisingly, our results show that the mean message encoder consistently outperforms the attention message encoder. Therefore, we analyse the communication protocol used by the agents that use the mean message encoder and can conclude that the agents use a combination of an exponential and a logarithmic function in their communication policy to avoid the loss of important information after applying the mean message encoder.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google