Discretionary Lane-Change Decision and Control via Parameterized Soft Actor-Critic for Hybrid Action Space

要約

この研究は、自動運転、自動車線変更の分野における重要なタスクに焦点を当てています。
自動車線変更は、交通の流れを改善し、ドライバーの負担を軽減し、交通事故のリスクを軽減する上で極めて重要な役割を果たします。
しかし、車線変更シナリオの複雑さと不確実性により、自動車線変更の機能は依然として課題に直面しています。
この研究では、深層強化学習（DRL）とモデル予測制御（MPC）の両方を使用して、自律的な車線変更シミュレーションを実行します。
具体的には、離散的な車線変更の決定と連続的な車両の縦方向の加速の両方を出力するために、DRL ベースの車線変更戦略をトレーニングするための Parameterized Soft Actor-Critic (PASAC) アルゴリズムを提案します。
また、さまざまな車線の予測車両追従コストに基づいた車線選択にも MPC を使用します。
初めて、車線変更の決定という文脈で DRL と MPC のパフォーマンスを比較しました。
シミュレーション結果は、同じ報酬/コスト関数とトラフィック フローの下で、MPC と PASAC の両方が 0\% の衝突率を達成することを示しています。
PASAC は、エピソード的な報酬/コストおよび平均車両速度の点で MPC に匹敵するパフォーマンスを示しています。

要約(オリジナル)

This study focuses on a crucial task in the field of autonomous driving, autonomous lane change. Autonomous lane change plays a pivotal role in improving traffic flow, alleviating driver burden, and reducing the risk of traffic accidents. However, due to the complexity and uncertainty of lane-change scenarios, the functionality of autonomous lane change still faces challenges. In this research, we conduct autonomous lane-change simulations using both Deep Reinforcement Learning (DRL) and Model Predictive Control (MPC). Specifically, we propose the Parameterized Soft Actor-Critic (PASAC) algorithm to train a DRL-based lane-change strategy to output both discrete lane-change decision and continuous longitudinal vehicle acceleration. We also use MPC for lane selection based on predictive car-following costs for different lanes. For the first time, we compare the performance of DRL and MPC in the context of lane-change decision. Simulation results indicate that, under the same reward/cost functions and traffic flow, both MPC and PASAC achieve a collision rate of 0\%. PASAC demonstrates comparable performance to MPC in terms of episodic rewards/costs and average vehicle speeds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google