Learning to Change: Choreographing Mixed Traffic Through Lateral Control and Hierarchical Reinforcement Learning

要約

複雑な交差点でのロボット車両 (RV) と人間運転車両 (HV) で構成される混合交通の管理には、多面的な課題が伴います。
従来の信号制御は、動的な交通状況や異種の車両タイプに適応するのに苦労することがよくあります。
最近の進歩は、強化学習 (RL) に基づく戦略に向けられており、そのモデルフリーの性質、リアルタイム操作、およびさまざまなシナリオにわたる一般化可能性を活用しています。
RV の正確な縦方向および横方向の制御を通じて混合トラフィックを管理するための階層型 RL フレームワークを導入します。
私たちが提案する階層型フレームワークは、最先端の混合トラフィック制御アルゴリズムを高レベルの意思決定者として組み合わせて、システム全体のパフォーマンスと堅牢性を向上させます。
私たちの実験では、このフレームワークにより、最先端の混合交通制御方法と比較して平均待ち時間を最大 54% 削減できることが実証されました。
RV 普及率が 60% を超える場合、交差点での全車両の平均待ち時間の点で、当社の技術は従来の信号制御プログラムを常に上回ります。

要約(オリジナル)

The management of mixed traffic that consists of robot vehicles (RVs) and human-driven vehicles (HVs) at complex intersections presents a multifaceted challenge. Traditional signal controls often struggle to adapt to dynamic traffic conditions and heterogeneous vehicle types. Recent advancements have turned to strategies based on reinforcement learning (RL), leveraging its model-free nature, real-time operation, and generalizability over different scenarios. We introduce a hierarchical RL framework to manage mixed traffic through precise longitudinal and lateral control of RVs. Our proposed hierarchical framework combines the state-of-the-art mixed traffic control algorithm as a high level decision maker to improve the performance and robustness of the whole system. Our experiments demonstrate that the framework can reduce the average waiting time by up to 54% compared to the state-of-the-art mixed traffic control method. When the RV penetration rate exceeds 60%, our technique consistently outperforms conventional traffic signal control programs in terms of the average waiting time for all vehicles at the intersection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google