Discretionary Lane-Change Decision and Control via Parameterized Soft Actor-Critic for Hybrid Action Space

要約

この研究は、自動運転、自動車線変更の分野における重要なタスクに焦点を当てています。
自動車線変更は、交通の流れを改善し、ドライバーの負担を軽減し、交通事故のリスクを軽減する上で極めて重要な役割を果たします。
しかし、車線変更シナリオの複雑さと不確実性により、自動車線変更の機能は依然として課題に直面しています。
この研究では、深層強化学習（DRL）とモデル予測制御（MPC）の両方を使用して、自律的な車線変更シミュレーションを実行しました。
具体的には、パラメータ化されたソフト アクター – クリティカル (PASAC) アルゴリズムを使用して、DRL ベースの車線変更戦略をトレーニングし、離散的な車線変更の決定と連続的な車両の縦方向の加速の両方を出力しました。
また、さまざまな車線の最小予測車追従コストに基づいた車線選択にも MPC を使用しました。
初めて、車線変更の決定という観点で DRL と MPC のパフォーマンスを比較しました。
シミュレーション結果は、同じ報酬/コスト関数とトラフィック フローの下で、MPC と PASAC の両方が衝突率 0% を達成したことを示しました。
PASAC は、平均報酬/コストおよび車両速度の点で MPC と同等のパフォーマンスを示しました。

要約(オリジナル)

This study focuses on a crucial task in the field of autonomous driving, autonomous lane change. Autonomous lane change plays a pivotal role in improving traffic flow, alleviating driver burden, and reducing the risk of traffic accidents. However, due to the complexity and uncertainty of lane-change scenarios, the functionality of autonomous lane change still faces challenges. In this research, we conducted autonomous lane-change simulations using both deep reinforcement learning (DRL) and model predictive control (MPC). Specifically, we used the parameterized soft actor–critic (PASAC) algorithm to train a DRL-based lane-change strategy to output both discrete lane-change decisions and continuous longitudinal vehicle acceleration. We also used MPC for lane selection based on the smallest predictive car-following costs for the different lanes. For the first time, we compared the performance of DRL and MPC in the context of lane-change decisions. The simulation results indicated that, under the same reward/cost function and traffic flow, both MPC and PASAC achieved a collision rate of 0%. PASAC demonstrated a comparable performance to MPC in terms of average rewards/costs and vehicle speeds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google