Predictive Maneuver Planning with Deep Reinforcement Learning (PMP-DRL) for comfortable and safe autonomous driving

要約

この論文では、操縦計画のための深層強化学習による予測操縦計画 (PMP-DRL) モデルを紹介します。
従来のルールベースの操縦計画アプローチでは、多くの場合、現実世界の運転シナリオの変動に対処する能力を向上させる必要があります。
経験から学習することで、強化学習 (RL) ベースの運転エージェントは、変化する運転条件に適応し、時間の経過とともにパフォーマンスを向上させることができます。
私たちが提案するアプローチは、予測モデルと RL エージェントを組み合わせて、快適で安全な操縦を計画します。
予測モデルは、過去の運転データを使用してトレーニングされ、周囲の他の車両の将来の位置を予測します。
周囲の車両の過去および予測される将来の位置は、コンテキストを認識したグリッド マップに埋め込まれます。
同時に、RL エージェントは、この時空間コンテキスト情報に基づいて操作を行う方法を学習します。
PMP-DRL のパフォーマンス評価は、公開されている NGSIM US101 および I80 データセットから生成されたシミュレート環境を使用して実行されました。
一連のトレーニングにより、運転体験が継続的に向上していることがわかります。
これは、提案された PMP-DRL が安全性と快適性の間のトレードオフを学習できることを示しています。
最近の模倣学習ベースのモデルによって生成された決定は、まだ見ぬシナリオについて提案されている PMP-DRL と比較されます。
この結果は、PMP-DRL が複雑な現実世界のシナリオを処理でき、ルールベースの模倣モデルよりも快適で安全な操縦決定を行うことができることを明確に示しています。

要約(オリジナル)

This paper presents a Predictive Maneuver Planning with Deep Reinforcement Learning (PMP-DRL) model for maneuver planning. Traditional rule-based maneuver planning approaches often have to improve their abilities to handle the variabilities of real-world driving scenarios. By learning from its experience, a Reinforcement Learning (RL)-based driving agent can adapt to changing driving conditions and improve its performance over time. Our proposed approach combines a predictive model and an RL agent to plan for comfortable and safe maneuvers. The predictive model is trained using historical driving data to predict the future positions of other surrounding vehicles. The surrounding vehicles’ past and predicted future positions are embedded in context-aware grid maps. At the same time, the RL agent learns to make maneuvers based on this spatio-temporal context information. Performance evaluation of PMP-DRL has been carried out using simulated environments generated from publicly available NGSIM US101 and I80 datasets. The training sequence shows the continuous improvement in the driving experiences. It shows that proposed PMP-DRL can learn the trade-off between safety and comfortability. The decisions generated by the recent imitation learning-based model are compared with the proposed PMP-DRL for unseen scenarios. The results clearly show that PMP-DRL can handle complex real-world scenarios and make better comfortable and safe maneuver decisions than rule-based and imitative models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google