Multi-Task Lane-Free Driving Strategy for Connected and Automated Vehicles: A Multi-Agent Deep Reinforcement Learning Approach

要約

深層強化学習は、車両の交通制御を含むさまざまなエンジニアリング用途で有望であることが示されています。
交通の非定常的な性質は、特に車両挙動の自由度が高い車線のない環境では、誤った行動が致命的な故障につながる可能性があるため、意思決定に課題をもたらします。
この論文では、競争力のあるマルチエージェントの深い決定論的ポリシー勾配アプローチに基づいた、コネクテッド自動運転車 (CAV) のための新しい運転戦略を提案します。
開発されたマルチエージェント深層強化学習アルゴリズムは、動的かつ非定常のシナリオを作成し、現実世界の交通の複雑さを反映し、訓練されたエージェントをより堅牢にします。
アルゴリズムの報酬関数は、望ましい速度の維持、追い越し、衝突回避、合流および分岐操作など、複数の車両制御タスクをカバーするために戦略的かつ独自に定式化されています。
さらに、横方向と縦方向の両方の乗客の快適性と安全基準についても追加の考慮事項が考慮されます。
車線のない交通環境での CAV の操作を管理するために、ナッジ力と反発力として知られる車両間力を採用しました。
提案された運転アルゴリズムは、都市モビリティのシミュレーション プラットフォームを使用して、車線のない道路でトレーニングおよび評価されます。
実験結果は、さまざまな目的を処理する際のアルゴリズムの有効性を実証し、車線のない交通環境での自動運転の安全性と効率を向上させる可能性を強調しています。

要約(オリジナル)

Deep reinforcement learning has shown promise in various engineering applications, including vehicular traffic control. The non-stationary nature of traffic, especially in the lane-free environment with more degrees of freedom in vehicle behaviors, poses challenges for decision-making since a wrong action might lead to a catastrophic failure. In this paper, we propose a novel driving strategy for Connected and Automated Vehicles (CAVs) based on a competitive Multi-Agent Deep Deterministic Policy Gradient approach. The developed multi-agent deep reinforcement learning algorithm creates a dynamic and non-stationary scenario, mirroring real-world traffic complexities and making trained agents more robust. The algorithm’s reward function is strategically and uniquely formulated to cover multiple vehicle control tasks, including maintaining desired speeds, overtaking, collision avoidance, and merging and diverging maneuvers. Moreover, additional considerations for both lateral and longitudinal passenger comfort and safety criteria are taken into account. We employed inter-vehicle forces, known as nudging and repulsive forces, to manage the maneuvers of CAVs in a lane-free traffic environment. The proposed driving algorithm is trained and evaluated on lane-free roads using the Simulation of Urban Mobility platform. Experimental results demonstrate the algorithm’s efficacy in handling different objectives, highlighting its potential to enhance safety and efficiency in autonomous driving within lane-free traffic environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google