Scalable Multi-Agent Reinforcement Learning through Intelligent Information Aggregation

要約

観測が各エージェントのローカルな近傍に限定されている場合の、マルチエージェントのナビゲーションと衝突回避の問題を検討します。
我々は、ローカル情報をインテリジェントに使用してすべてのエージェントのパスを分散型で計算するマルチエージェント強化学習 (MARL) の新しいアーキテクチャである InforMARL を提案します。
具体的には、InforMARL は、グラフ ニューラル ネットワークを使用して、行為者と批評家の両方のエージェントのローカル近傍に関する情報を集約し、標準的な MARL アルゴリズムと組み合わせて使用​​できます。
(1) トレーニングでは、使用する情報が少ないにもかかわらず、InforMARL はベースラインのアプローチよりもサンプル効率とパフォーマンスが優れていること、(2) テストでは、任意の数のエージェントと障害物がある環境にうまく拡張できることを示します。
これらの結果を 4 つのタスク環境を使用して説明します。そのうちの 1 つは、エージェントごとに事前に目標が設定されている環境と、エージェントが集合的にすべての目標を達成しようとする環境です。
コードは https://github.com/nsidn98/InforMARL で入手できます。

要約(オリジナル)

We consider the problem of multi-agent navigation and collision avoidance when observations are limited to the local neighborhood of each agent. We propose InforMARL, a novel architecture for multi-agent reinforcement learning (MARL) which uses local information intelligently to compute paths for all the agents in a decentralized manner. Specifically, InforMARL aggregates information about the local neighborhood of agents for both the actor and the critic using a graph neural network and can be used in conjunction with any standard MARL algorithm. We show that (1) in training, InforMARL has better sample efficiency and performance than baseline approaches, despite using less information, and (2) in testing, it scales well to environments with arbitrary numbers of agents and obstacles. We illustrate these results using four task environments, including one with predetermined goals for each agent, and one in which the agents collectively try to cover all goals. Code available at https://github.com/nsidn98/InforMARL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google