Traffic Signal Control with Communicative Deep Reinforcement Learning Agents: a Case Study

要約

この研究では、適応型交通信号制御 (ATSC) 問題に適用できる、最近提案されたマルチエージェント強化学習アルゴリズムであるマルチエージェント アドバンテージ アクタークリティック (MA2C) を分析します。
その可能性を評価するために、MA2C を Independent Advantage Actor-Critic (IA2C) および他の強化学習またはヒューリスティック ベースのアルゴリズムと比較します。
具体的には、非マルコフ決定プロセスによって提供されるフレームワークを使用して MA2C を理論的に分析します。これにより、アルゴリズムのより深い洞察が可能になります。また、ボローニャ (イタリア) にある 2 つの交通エリアでテストすることにより、この方法の有効性と堅牢性を批判的に検査します。
) ATSC 問題のソフトウェア モデリング ツールである SUMO でシミュレーションされました。
私たちの結果は、擬似ランダム車両フローでトレーニングされた MA2C が、代替手法を上回るパフォーマンスを発揮できる有望な技術であることを示しています。

要約(オリジナル)

In this work we analyze Multi-Agent Advantage Actor-Critic (MA2C) a recently proposed multi-agent reinforcement learning algorithm that can be applied to adaptive traffic signal control (ATSC) problems. To evaluate its potential we compare MA2C with Independent Advantage Actor-Critic (IA2C) and other Reinforcement Learning or heuristic based algorithms. Specifically, we analyze MA2C theoretically with the framework provided by non-Markov decision processes, which allows a deeper insight of the algorithm, and we critically examine the effectiveness and the robustness of the method by testing it in two traffic areas located in Bologna (Italy) simulated in SUMO, a software modeling tool for ATSC problems. Our results indicate that MA2C, trained with pseudo-random vehicle flows, is a promising technique able to outperform the alternative methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google