CycLight: learning traffic signal cooperation with a cycle-level strategy

要約

この研究では、ネットワーク レベルの適応型交通信号制御 (NATSC) システム向けの新しいサイクル レベルの深層強化学習 (RL) アプローチである CycLight を紹介します。
段階的な意思決定に焦点を当てたほとんどの従来の RL ベースのトラフィック コントローラーとは異なり、CycLight はサイクル レベルの戦略を採用し、パラメーター化ディープ Q ネットワーク (PDQN) アルゴリズムを使用してサイクル長と分割を同時に最適化します。
このサイクルレベルのアプローチは、頻繁なデータ通信に伴う計算負荷を効果的に軽減し、同時に現実世界のアプリケーションの実用性と安全性を強化します。
マルチエージェントの協力のために分散型フレームワークが策定され、現在の交差点に対する周囲の影響を正確に評価するための注意メカニズムが統合されています。
CycLight は、微細な交通シミュレーション ツール SUMO を使用して、大規模な合成交通グリッドでテストされます。
実験結果は、他の最先端のアプローチに対する CycLight の優位性を実証するだけでなく、情報伝送遅延に対するその堅牢性も示しています。

要約(オリジナル)

This study introduces CycLight, a novel cycle-level deep reinforcement learning (RL) approach for network-level adaptive traffic signal control (NATSC) systems. Unlike most traditional RL-based traffic controllers that focus on step-by-step decision making, CycLight adopts a cycle-level strategy, optimizing cycle length and splits simultaneously using Parameterized Deep Q-Networks (PDQN) algorithm. This cycle-level approach effectively reduces the computational burden associated with frequent data communication, meanwhile enhancing the practicality and safety of real-world applications. A decentralized framework is formulated for multi-agent cooperation, while attention mechanism is integrated to accurately assess the impact of the surroundings on the current intersection. CycLight is tested in a large synthetic traffic grid using the microscopic traffic simulation tool, SUMO. Experimental results not only demonstrate the superiority of CycLight over other state-of-the-art approaches but also showcase its robustness against information transmission delays.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google