Deep Reinforcement Learning for Traffic Light Control in Intelligent Transportation Systems

要約

インテリジェント輸送システム（ITS）のスマートトラフィックライトは、交通効率を大幅に向上させ、渋滞を軽減するために想定されています。
ディープ補強学習（DRL）は、道路ネットワークのリアルタイムの交通状況に基づいて、トラフィックを適応的に制御するための有望なアプローチです。
ただし、従来の方法はスケーラビリティが低い場合があります。
このホワイトペーパーでは、信号機を制御するための深い補強学習を調査し、理論的分析と数値実験の両方が、インテリジェントな行動「グリーンウェーブ」（つまり、車両は緑の光の進行性のカスケードが見られ、あらゆる交差点でブレーキをかける必要はありません）が、自然に環境の道路ネットワークであることを示しています。
最初のステップとして、2つのシナリオでトラフィックコントロールの問題に2つのDRLアルゴリズムを使用します。
単一の道路交差点で、ディープQネットワーク（DQN）アルゴリズムがしきい値ポリシーを提供することを確認します。
また、グリッドロードネットワークでは、深い決定論的ポリシーグラデーション（DDPG）アルゴリズムを採用しています。
第二に、数値実験は、DQNアルゴリズムが最適な制御を提供することを示しており、パッシブ観測を伴うDDPGアルゴリズムは、グリッドロードネットワークで高レベルのインテリジェントな動作を生成する能力を持っていることを示しています。
また、$ 5 \ times 10 $ Grid Road Networkで「Greenwave」パターンを確認します。
第三に、「グリーンウェーブ」パターンは、実験結果に示されている「グリーンウェーブ」ポリシーが指定されたトラフィックモデル（複数のクロスストリートのあるアベニュー）で最適であることが証明されているため、DRLアルゴリズムが好ましいソリューションを生成することを示しています。
単一の道路交差点とグリッドロードネットワークの両方で配信されたポリシーは、DRLアルゴリズムのスケーラビリティを示しています。

要約(オリジナル)

Smart traffic lights in intelligent transportation systems (ITSs) are envisioned to greatly increase traffic efficiency and reduce congestion. Deep reinforcement learning (DRL) is a promising approach to adaptively control traffic lights based on the real-time traffic situation in a road network. However, conventional methods may suffer from poor scalability. In this paper, we investigate deep reinforcement learning to control traffic lights, and both theoretical analysis and numerical experiments show that the intelligent behavior “greenwave’ (i.e., a vehicle will see a progressive cascade of green lights, and not have to brake at any intersection) emerges naturally a grid road network, which is proved to be the optimal policy in an avenue with multiple cross streets. As a first step, we use two DRL algorithms for the traffic light control problems in two scenarios. In a single road intersection, we verify that the deep Q-network (DQN) algorithm delivers a thresholding policy; and in a grid road network, we adopt the deep deterministic policy gradient (DDPG) algorithm. Secondly, numerical experiments show that the DQN algorithm delivers the optimal control, and the DDPG algorithm with passive observations has the capability to produce on its own a high-level intelligent behavior in a grid road network, namely, the “greenwave’ policy emerges. We also verify the “greenwave’ patterns in a $5 \times 10$ grid road network. Thirdly, the “greenwave’ patterns demonstrate that DRL algorithms produce favorable solutions since the “greenwave’ policy shown in experiment results is proved to be optimal in a specified traffic model (an avenue with multiple cross streets). The delivered policies both in a single road intersection and a grid road network demonstrate the scalability of DRL algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google