Towards Multi-agent Reinforcement Learning based Traffic Signal Control through Spatio-temporal Hypergraphs

要約

交通信号制御システム（TSCS）は、効率的な車両の流れを促進するインテリジェントな交通管理に不可欠である。従来のアプローチでは、道路ネットワークを標準的なグラフに単純化することが多く、その結果、近隣交差点における交通データの動的な性質を考慮することができず、リアルタイム制御に必要な高次の相互接続が無視されている。そこで我々は、インテリジェントな交通制御を実現するための新しいTSCSフレームワークを提案する。このフレームワークは、隣接する複数のエッジコンピューティングサーバと連携し、道路ネットワーク全体の交通情報を収集する。交通信号制御の効率を高めるために、我々はマルチエージェントソフトアクタークリティック（MA-SAC）強化学習アルゴリズムを構築した。このアルゴリズムでは、個々のエージェントは、道路ネットワーク全体の交通流を全体的に最適化することを使命として、各交差点に配置される。さらに、道路ネットワーク内の複数の交差点からの時空間的相互作用を可能にするために、MA-SACの批判者ネットワークにハイパーグラフ学習を導入する。この方法は、ハイパーグラフと時空間グラフ構造を融合し、交通データを符号化し、複数の交差点間の複雑な時空間相関を捉える。様々なデータセットでテストされた我々の経験的評価により、平均車両移動時間を最小化し、高スループット性能を維持する上で、我々のフレームワークが優れていることが実証された。この研究は、よりインテリジェントな都市交通管理ソリューションの開発を促進する。この研究の再現性をサポートするために、https://github.com/Edun-Eyes/TSC でコードを公開する。

要約(オリジナル)

Traffic signal control systems (TSCSs) are integral to intelligent traffic management, fostering efficient vehicle flow. Traditional approaches often simplify road networks into standard graphs, which results in a failure to consider the dynamic nature of traffic data at neighboring intersections, thereby neglecting higher-order interconnections necessary for real-time control. To address this, we propose a novel TSCS framework to realize intelligent traffic control. This framework collaborates with multiple neighboring edge computing servers to collect traffic information across the road network. To elevate the efficiency of traffic signal control, we have crafted a multi-agent soft actor-critic (MA-SAC) reinforcement learning algorithm. Within this algorithm, individual agents are deployed at each intersection with a mandate to optimize traffic flow across the road network collectively. Furthermore, we introduce hypergraph learning into the critic network of MA-SAC to enable the spatio-temporal interactions from multiple intersections in the road network. This method fuses hypergraph and spatio-temporal graph structures to encode traffic data and capture the complex spatio-temporal correlations between multiple intersections. Our empirical evaluation, tested on varied datasets, demonstrates the superiority of our framework in minimizing average vehicle travel times and sustaining high-throughput performance. This work facilitates the development of more intelligent urban traffic management solutions. We release the code to support the reproducibility of this work at https://github.com/Edun-Eyes/TSC

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL