MAIDCRL: Semi-centralized Multi-Agent Influence Dense-CNN Reinforcement Learning

要約

マルチエージェント システムにおける分散型意思決定は、協力システムと競合システムの両方で対話型行動学習に困難な課題をもたらします。
この複雑さを軽減するために、MAIDRL は、StarCraft マルチエージェント チャレンジ (SMAC) シナリオで効果的なマルチエージェント制御を学習するために、エージェント インフルエンス マップ (AIM) によって強化された半集中型の高密度強化学習アルゴリズムを提供します。
この論文では、MAIDRL の DenseNet を拡張し、畳み込み層をディープ モデル アーキテクチャに組み込むことで半集中型のマルチエージェント Dense-CNN 強化学習 (MAIDCRL) を導入し、同種シナリオと異種シナリオの両方でパフォーマンスを評価します。
結果は、CNN 対応 MAIDCRL が学習パフォーマンスを大幅に向上させ、特により複雑な異種 SMAC シナリオにおいて、既存の MAIDRL と比較してより速い学習速度を達成したことを示しています。
モデルの安定性と堅牢性をさらに調査します。
この統計は、私たちのモデルがすべての特定のシナリオで高い勝率を達成するだけでなく、きめ細かい意思決定におけるエージェントの学習プロセスを促進することを反映しています。

要約(オリジナル)

Distributed decision-making in multi-agent systems presents difficult challenges for interactive behavior learning in both cooperative and competitive systems. To mitigate this complexity, MAIDRL presents a semi-centralized Dense Reinforcement Learning algorithm enhanced by agent influence maps (AIMs), for learning effective multi-agent control on StarCraft Multi-Agent Challenge (SMAC) scenarios. In this paper, we extend the DenseNet in MAIDRL and introduce semi-centralized Multi-Agent Dense-CNN Reinforcement Learning, MAIDCRL, by incorporating convolutional layers into the deep model architecture, and evaluate the performance on both homogeneous and heterogeneous scenarios. The results show that the CNN-enabled MAIDCRL significantly improved the learning performance and achieved a faster learning rate compared to the existing MAIDRL, especially on more complicated heterogeneous SMAC scenarios. We further investigate the stability and robustness of our model. The statistics reflect that our model not only achieves higher winning rate in all the given scenarios but also boosts the agent’s learning process in fine-grained decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google