Chance-Aware Lane Change with High-Level Model Predictive Control Through Curriculum Reinforcement Learning

要約

密集した交通量での車線変更には通常、適切な運転機会を認識する必要がありますが、これは自動運転において依然として困難な問題です。
この研究では、カリキュラム強化学習 (CRL) による高レベルのモデル予測制御 (MPC) を使用した、偶然を意識した車線変更戦略を提案します。
私たちが提案するフレームワークでは、具体化された MPC における各コスト項の相対的な重要性に関する完全な状態の参照と規制要因が、ニューラル ポリシーによって生成されます。
さらに、効果的なカリキュラムが設計され、ポリシーの移転と強化を備えたエピソード強化学習 (RL) フレームワークに統合され、収束速度を向上させ、高品質のポリシーを保証します。
提案されたフレームワークは、高密度で動的トラフィ​​ックの数値シミュレーションで展開および評価されます。
注目に値するのは、提案されたアプローチにより、わずかな可能性があったとしても、車両が 96% という高い成功率で交通の流れに合流するような高品質の車線変更操作が生成されるということです。
最後に、私たちのフレームワークは、密なトラフィックの下で高忠実度シミュレータで検証され、満足のいく実用性と一般化可能性が実証されました。

要約(オリジナル)

Lane change in dense traffic typically requires the recognition of an appropriate opportunity for maneuvers, which remains a challenging problem in self-driving. In this work, we propose a chance-aware lane-change strategy with high-level model predictive control (MPC) through curriculum reinforcement learning (CRL). In our proposed framework, full-state references and regulatory factors concerning the relative importance of each cost term in the embodied MPC are generated by a neural policy. Furthermore, effective curricula are designed and integrated into an episodic reinforcement learning (RL) framework with policy transfer and enhancement, to improve the convergence speed and ensure a high-quality policy. The proposed framework is deployed and evaluated in numerical simulations of dense and dynamic traffic. It is noteworthy that, given a narrow chance, the proposed approach generates high-quality lane-change maneuvers such that the vehicle merges into the traffic flow with a high success rate of 96%. Finally, our framework is validated in the high-fidelity simulator under dense traffic, demonstrating satisfactory practicality and generalizability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google