Communication-Aware Reinforcement Learning for Cooperative Adaptive Cruise Control

要約

協調型アダプティブ クルーズ コントロール (CACC) は、コネクテッド自動運転車 (CAV) の交通効率と安全性を向上させる上で極めて重要な役割を果たします。
強化学習 (RL) は、CACC における複雑な意思決定プロセスの最適化に効果的であり、システムのパフォーマンスと適応性の向上につながることが証明されています。
RL アプローチの中でも、マルチエージェント強化学習 (MARL) は、分散実行 (CTDE) による集中トレーニングを通じて複数の CAV 間の調整されたアクションを可能にすることで、顕著な可能性を示しています。
ただし、MARL は、特に CACC 車両が隊列に突然参加または離脱する場合に、スケーラビリティの問題に直面することが多く、その結果、パフォーマンスが低下します。
これらの課題に対処するために、私たちは Communication-Aware Reinforcement Learning (CA-RL) を提案します。
CA-RL には、前方および後方情報送信モジュールを通じて車両通信情報を抽出および圧縮する通信対応モジュールが含まれています。
これにより、CACC トラフィック フロー内での効率的な周期的な情報伝播が可能になり、ポリシーの一貫性が確保され、CACC における MARL のスケーラビリティの問題が軽減されます。
実験結果は、CA-RL がさまざまな交通シナリオでベースライン手法を大幅に上回り、参加車両数の変化にもかかわらず信頼性の高いパフォーマンスを維持しながら、優れたスケーラビリティ、堅牢性、およびシステム全体のパフォーマンスを実現することを示しています。

要約(オリジナル)

Cooperative Adaptive Cruise Control (CACC) plays a pivotal role in enhancing traffic efficiency and safety in Connected and Autonomous Vehicles (CAVs). Reinforcement Learning (RL) has proven effective in optimizing complex decision-making processes in CACC, leading to improved system performance and adaptability. Among RL approaches, Multi-Agent Reinforcement Learning (MARL) has shown remarkable potential by enabling coordinated actions among multiple CAVs through Centralized Training with Decentralized Execution (CTDE). However, MARL often faces scalability issues, particularly when CACC vehicles suddenly join or leave the platoon, resulting in performance degradation. To address these challenges, we propose Communication-Aware Reinforcement Learning (CA-RL). CA-RL includes a communication-aware module that extracts and compresses vehicle communication information through forward and backward information transmission modules. This enables efficient cyclic information propagation within the CACC traffic flow, ensuring policy consistency and mitigating the scalability problems of MARL in CACC. Experimental results demonstrate that CA-RL significantly outperforms baseline methods in various traffic scenarios, achieving superior scalability, robustness, and overall system performance while maintaining reliable performance despite changes in the number of participating vehicles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google