Adaptive Stochastic Nonlinear Model Predictive Control with Look-ahead Deep Reinforcement Learning for Autonomous Vehicle Motion Control

要約

この論文では、不確実性の処理、制約のロバスト化、実現可能性、および閉ループのパフォーマンスを最適化するための、深層強化学習 (RL) 駆動の適応確率的非線形モデル予測制御 (SNMPC) を紹介します。
この目的を達成するために、RL エージェントが今後の制御タスクを積極的に予測し、主要な SNMPC パラメータの最適な組み合わせ (最も重要なのは堅牢化係数 $\kappa$ と不確実性伝播範囲 (UPH) $T_u$) を動的に決定することを考えています。
訓練された RL エージェントの意思決定プロセスを分析し、コンテキスト依存の最適なパラメーターを学習する能力を強調します。
重要な発見の 1 つは、学習されたポリシーを使用して制約の堅牢化係数を適応させると、保守主義が軽減され、閉ループのパフォーマンスが向上する一方で、UPH を適応させると、深刻な外乱に直面した場合に、以前は実行不可能だった SNMPC 問題が実行可能になるということです。
重大な時間変動外乱に直面した場合に最適なレースラインに従う自動運転乗用車のリアルタイム動作制御タスクを通じて、アダプティブ SNMPC (aSNMPC) の堅牢性と実現可能性が強化されたことを紹介します。
実験結果は、当社の先読み RL 駆動の aSNMPC が、正確な外乱と不正確な外乱の仮定の両方で、さらには未踏の環境で運転している場合でも、横方向の偏差を最小限に抑える点で、対応する静的 SNMPC (sSNMPC) よりも優れていることを示しています。

要約(オリジナル)

In this paper, we present a Deep Reinforcement Learning (RL)-driven Adaptive Stochastic Nonlinear Model Predictive Control (SNMPC) to optimize uncertainty handling, constraints robustification, feasibility, and closed-loop performance. To this end, we conceive an RL agent to proactively anticipate upcoming control tasks and to dynamically determine the most suitable combination of key SNMPC parameters – foremost the robustification factor $\kappa$ and the Uncertainty Propagation Horizon (UPH) $T_u$. We analyze the trained RL agent’s decision-making process and highlight its ability to learn context-dependent optimal parameters. One key finding is that adapting the constraints robustification factor with the learned policy reduces conservatism and improves closed-loop performance while adapting UPH renders previously infeasible SNMPC problems feasible when faced with severe disturbances. We showcase the enhanced robustness and feasibility of our Adaptive SNMPC (aSNMPC) through the real-time motion control task of an autonomous passenger vehicle to follow an optimal race line when confronted with significant time-variant disturbances. Experimental findings demonstrate that our look-ahead RL-driven aSNMPC outperforms its Static SNMPC (sSNMPC) counterpart in minimizing the lateral deviation both with accurate and inaccurate disturbance assumptions and even when driving in previously unexplored environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google