Adaptive parameter sharing for multi-agent reinforcement learning

要約

パラメータ共有は、マルチエージェント システムにおける重要な手法として、大規模なエージェントの問題におけるスケーラビリティの問題を効果的に解決できます。
ただし、パラメータ共有の有効性は環境設定に大きく依存します。
エージェントが異なるアイデンティティやタスクを持っている場合、単純なパラメータ共有では、エージェントに対して十分に差別化された戦略を生成することが困難になります。
生物学における脳に関する研究に触発されて、私たちは新しいパラメータ共有方法を提案します。
これは、各タイプのエージェントをその ID に基づいて共有ネットワーク内の異なる領域にマッピングし、その結果、個別のサブネットワークが形成されます。
したがって、私たちの方法は、追加のトレーニングパラメータを導入することなく、さまざまなエージェント間の戦略の多様性を高めることができます。
複数の環境で実施された実験を通じて、私たちの方法は他のパラメータ共有方法よりも優れたパフォーマンスを示しました。

要約(オリジナル)

Parameter sharing, as an important technique in multi-agent systems, can effectively solve the scalability issue in large-scale agent problems. However, the effectiveness of parameter sharing largely depends on the environment setting. When agents have different identities or tasks, naive parameter sharing makes it difficult to generate sufficiently differentiated strategies for agents. Inspired by research pertaining to the brain in biology, we propose a novel parameter sharing method. It maps each type of agent to different regions within a shared network based on their identity, resulting in distinct subnetworks. Therefore, our method can increase the diversity of strategies among different agents without introducing additional training parameters. Through experiments conducted in multiple environments, our method has shown better performance than other parameter sharing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google