Multi-Agent Reinforcement Learning-based Cooperative Autonomous Driving in Smart Intersections

要約

署名されていない交差点は、複雑な交通流のために重大な安全性と効率の課題をもたらします。
このペーパーでは、グローバルな認識と車両間（V2I）コミュニケーションを活用する新しい道端のユニット（RSU）中心の協同運転システムを提案します。
システムのコアは、2段階のハイブリッド強化学習（RL）フレームワークを使用したRSUベースの意思決定モジュールです。
最初は、収集されたデータセットの動作クローニング（BC）と組み合わせた保守的なQラーニング（CQL）を使用して、ポリシーが事前に訓練されています。
その後、これらのポリシーは、マルチエージェント近位ポリシー最適化（MAPPO）を使用してシミュレーションで微調整され、エージェント間の依存関係を効果的に解決する自己関節メカニズムと一致します。
RSUは、訓練されたモデルに基づいてリアルタイム推論を実行して、V2I通信を介した車両制御を実現します。
カーラ環境での広範な実験は、提案されたシステムの高い効果を示しています。\ textIT {（i）}複雑な交差点シナリオを通じて3つの接続された車両と自動運転車（Cav）を調整する際に0.03 \％未満の故障率を達成し、従来のオートウェアコントロール方法を大幅に上回っています。
他のマップの機能。

要約(オリジナル)

Unsignalized intersections pose significant safety and efficiency challenges due to complex traffic flows. This paper proposes a novel roadside unit (RSU)-centric cooperative driving system leveraging global perception and vehicle-to-infrastructure (V2I) communication. The core of the system is an RSU-based decision-making module using a two-stage hybrid reinforcement learning (RL) framework. At first, policies are pre-trained offline using conservative Q-learning (CQL) combined with behavior cloning (BC) on collected dataset. Subsequently, these policies are fine-tuned in the simulation using multi-agent proximal policy optimization (MAPPO), aligned with a self-attention mechanism to effectively solve inter-agent dependencies. RSUs perform real-time inference based on the trained models to realize vehicle control via V2I communications. Extensive experiments in CARLA environment demonstrate high effectiveness of the proposed system, by: \textit{(i)} achieving failure rates below 0.03\% in coordinating three connected and autonomous vehicles (CAVs) through complex intersection scenarios, significantly outperforming the traditional Autoware control method, and \textit{(ii)} exhibiting strong robustness across varying numbers of controlled agents and shows promising generalization capabilities on other maps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google