Multi-Agent Reinforcement Learning for Connected and Automated Vehicles Control: Recent Advancements and Future Prospects

要約

コネクテッド自動運転車 (CAV) は、安全で効率的で環境に優しい交通システムの開発という将来の課題に対する潜在的な解決策として浮上しています。
ただし、CAV 制御には、車両間で必要な相互接続と調整の複雑さを考慮すると、大きな課題が存在します。
これに対処するために、マルチエージェント強化学習 (MARL) が、自動運転、ロボット工学、および人と車両のインタラクションにおける複雑な問題への対処において顕著な進歩を遂げており、CAV の機能を強化するための有望なツールとして浮上しています。
しかし、CAV の文脈における最先端の MARL アルゴリズムに関する現在のレビューが著しく欠落しています。
したがって、この文書では、CAV 制御の分野における MARL 技術の応用について包括的にレビューします。
この文書は MARL の紹介から始まり、続いて複数のエージェントが関与する複雑なモビリティおよびトラフィック シナリオに対処する際の MARL の独自の利点について詳細に説明します。
次に、CAV の制御次元の範囲に関する MARL アプリケーションの包括的な調査を示し、隊列走行制御、車線変更、信号のない交差点などの重要かつ典型的なシナリオをカバーします。
さらに、この論文では、MARL のトレーニングのための信頼できる環境を作成するために使用される著名なシミュレーション プラットフォームの包括的なレビューを提供します。
最後に、この文書では、CAV 制御内での MARL の導入に関連する現在の課題を検討し、これらの問題を効果的に克服できる潜在的なソリューションの概要を説明します。
このレビューを通じて、安全性、移動効率、経済性の観点から CAV 制御のパフォーマンスと連携を強化する MARL の多大な可能性を浮き彫りにしました。

要約(オリジナル)

Connected and automated vehicles (CAVs) have emerged as a potential solution to the future challenges of developing safe, efficient, and eco-friendly transportation systems. However, CAV control presents significant challenges, given the complexity of interconnectivity and coordination required among the vehicles. To address this, multi-agent reinforcement learning (MARL), with its notable advancements in addressing complex problems in autonomous driving, robotics, and human-vehicle interaction, has emerged as a promising tool for enhancing the capabilities of CAVs. However, there is a notable absence of current reviews on the state-of-the-art MARL algorithms in the context of CAVs. Therefore, this paper delivers a comprehensive review of the application of MARL techniques within the field of CAV control. The paper begins by introducing MARL, followed by a detailed explanation of its unique advantages in addressing complex mobility and traffic scenarios that involve multiple agents. It then presents a comprehensive survey of MARL applications on the extent of control dimensions for CAVs, covering critical and typical scenarios such as platooning control, lane-changing, and unsignalized intersections. In addition, the paper provides a comprehensive review of the prominent simulation platforms used to create reliable environments for training in MARL. Lastly, the paper examines the current challenges associated with deploying MARL within CAV control and outlines potential solutions that can effectively overcome these issues. Through this review, the study highlights the tremendous potential of MARL to enhance the performance and collaboration of CAV control in terms of safety, travel efficiency, and economy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google