Chance-Aware Lane Change with High-Level Model Predictive Control Through Curriculum Reinforcement Learning

要約

交通量の多い場所での車線変更は、通常、適切な操作のタイミングを認識する必要がある難しい問題であると考えられています。
この作業では、カリキュラム強化学習 (CRL) による高レベルのモデル予測制御 (MPC) を使用して、チャンスを意識した車線変更戦略を提案します。
提案されたフレームワークで具体化された高レベルの MPC は、拡張された決定変数でパラメーター化され、完全な状態の参照とその重要性に関する規制要因が導入されます。
この意味で、高度に複雑な高密度で動的な環境への適応性の向上が見られます。
さらに、収束速度を向上させ、高品質のポリシーを確保するために、効果的なカリキュラム設計が強化学習 (RL) フレームワークに統合され、ポリシーの転送と強化が行われます。
チャンスを意識した車線変更シナリオに向けた包括的な実験により、代表的なベースライン手法との比較を通じて、収束速度の加速と報酬パフォーマンスの向上が実証されています。
密集した動的な交通流のわずかな可能性を考えると、提案されたアプローチは、車両が高い成功率で交通流に合流するように、高品質の車線変更操作を生成することは注目に値します。

要約(オリジナル)

Lane change in dense traffic is considered a challenging problem that typically requires the recognization of an opportune and appropriate time for maneuvers. In this work, we propose a chance-aware lane-change strategy with high-level model predictive control (MPC) through curriculum reinforcement learning (CRL). The embodied high-level MPC in our proposed framework is parameterized with augmented decision variables, where full-state references and regulatory factors concerning their importance are introduced. In this sense, improved adaptiveness to dense and dynamic environments with high complexity is exhibited. Furthermore, to improve the convergence speed and ensure a high-quality policy, effective curriculum design is integrated into the reinforcement learning (RL) framework with policy transfer and enhancement. With comprehensive experiments towards the chance-aware lane-change scenario, accelerated convergence speed and improved reward performance are demonstrated through comparisons with representative baseline methods. It is noteworthy that, given a narrow chance in the dense and dynamic traffic flow, the proposed approach generates high-quality lane-change maneuvers such that the vehicle merges into the traffic flow with a high success rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google