Unicorn: A Universal and Collaborative Reinforcement Learning Approach Towards Generalizable Network-Wide Traffic Signal Control

要約

適応型交通信号制御（ATSC）は、混雑を減らし、スループットを最大化し、急速に成長している都市部のモビリティを改善する上で重要です。
パラメーター共有マルチエージェント補強学習（MARL）の最近の進歩により、大規模な同質ネットワークにおける複雑で動的な流れのスケーラブルで適応的な最適化が大幅に向上しました。
ただし、さまざまな交差トポロジと相互作用のダイナミクスを備えた、実際のトラフィックネットワークの固有の不均一性は、さまざまなトラフィックシナリオでスケーラブルで効果的なATSCを達成するための大きな課題をもたらします。
これらの課題に対処するために、効率的で適応性のあるネットワーク全体のATSC向けに設計された普遍的で協力的なMARLフレームワークであるUnicornを提示します。
具体的には、最初に、交通運動に基づいた状態とさまざまなトポロジーを持つ状態と交差点の行動をマッピングする統一アプローチを提案します。
次に、一般的な特徴抽出用のデコーダーのみのネットワークを備えたユニバーサルトラフィック表現（UTR）モジュールを設計し、多様なトラフィックシナリオに対するモデルの適応性を高めます。
さらに、交差点の詳細表現（ISR）モジュールを組み込みます。これは、変分推論技術を通じて一意の交差点のトポロジーとトラフィックのダイナミクスを表す主要な潜在ベクトルを識別するように設計されています。
これらの潜在的な表現をさらに洗練するために、交差点固有の特徴をより適切に区別できる自己監視方法で対照的な学習アプローチを採用します。
さらに、隣接するエージェントの状態依存関係を政策最適化に統合し、動的なエージェントの相互作用を効果的に捉え、効率的な地域のコラボレーションを促進します。
私たちの結果は、ユニコーンがさまざまな評価メトリックにわたって他の方法を上回ることを示しており、複雑で動的なトラフィックネットワークにおけるその可能性を強調しています。

要約(オリジナル)

Adaptive traffic signal control (ATSC) is crucial in reducing congestion, maximizing throughput, and improving mobility in rapidly growing urban areas. Recent advancements in parameter-sharing multi-agent reinforcement learning (MARL) have greatly enhanced the scalable and adaptive optimization of complex, dynamic flows in large-scale homogeneous networks. However, the inherent heterogeneity of real-world traffic networks, with their varied intersection topologies and interaction dynamics, poses substantial challenges to achieving scalable and effective ATSC across different traffic scenarios. To address these challenges, we present Unicorn, a universal and collaborative MARL framework designed for efficient and adaptable network-wide ATSC. Specifically, we first propose a unified approach to map the states and actions of intersections with varying topologies into a common structure based on traffic movements. Next, we design a Universal Traffic Representation (UTR) module with a decoder-only network for general feature extraction, enhancing the model’s adaptability to diverse traffic scenarios. Additionally, we incorporate an Intersection Specifics Representation (ISR) module, designed to identify key latent vectors that represent the unique intersection’s topology and traffic dynamics through variational inference techniques. To further refine these latent representations, we employ a contrastive learning approach in a self-supervised manner, which enables better differentiation of intersection-specific features. Moreover, we integrate the state-action dependencies of neighboring agents into policy optimization, which effectively captures dynamic agent interactions and facilitates efficient regional collaboration. Our results show that Unicorn outperforms other methods across various evaluation metrics, highlighting its potential in complex, dynamic traffic networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google