Learning Based NMPC Adaptation for Autonomous Driving using Parallelized Digital Twin

要約

この研究では、自動運転コントローラーをシミュレーションから現実世界 (つまり Sim2Real) に移行するという課題に焦点を当てます。
モデルの不一致、環境の変化、タスクの変動などの不確実性を考慮しながら、ターゲットの閉ループのパフォーマンスが最適化されるように、パラメーター化可能な制御アーキテクチャをオンラインおよびオンザフライで適応させるためのデータ効率の高い方法を提案します。
このアプローチの新規性は、実行可能デジタル ツイン (xDT) によって可能になるブラック ボックス最適化を活用し、微分を使わない方法によるデータ駆動型のパラメーター キャリブレーションを行い、コントローラーをリアルタイムで直接適応させることにあります。
xDT は堅牢性を高めるためにドメイン ランダム化で強化されており、安全なパラメーター探索が可能です。
提案された方法では、xDT に向けて探索を進めるため、現実世界との対話は最小限で済みます。
私たちは実際の実験を通じてアプローチを検証し、10 分以内に 9 つのパラメーターを使用して NMPC を転送および微調整する際の有効性を実証します。
これにより、何時間にもわたる手動チューニングや、長時間にわたる機械学習のトレーニングとデータ収集フェーズが不要になります。
私たちの結果は、オンラインに適応した NMPC が Sim2Real ギャップを直接補正し、シミュレーションでのオーバーチューニングを回避することを示しています。
重要なのは、トラッキング パフォーマンスの 75% の向上が達成され、ターゲット パフォーマンスとの Sim2Real の差が 876 倍から 1.033 倍に減少したことです。

要約(オリジナル)

In this work, we focus on the challenge of transferring an autonomous driving controller from simulation to the real world (i.e. Sim2Real). We propose a data-efficient method for online and on-the-fly adaptation of parametrizable control architectures such that the target closed-loop performance is optimized while accounting for uncertainties as model mismatches, changes in the environment, and task variations. The novelty of the approach resides in leveraging black-box optimization enabled by Executable Digital Twins (xDTs) for data-driven parameter calibration through derivative-free methods to directly adapt the controller in real-time. The xDTs are augmented with Domain Randomization for robustness and allow for safe parameter exploration. The proposed method requires a minimal amount of interaction with the real-world as it pushes the exploration towards the xDTs. We validate our approach through real-world experiments, demonstrating its effectiveness in transferring and fine-tuning a NMPC with 9 parameters, in under 10 minutes. This eliminates the need for hours-long manual tuning and lengthy machine learning training and data collection phases. Our results show that the online adapted NMPC directly compensates for the Sim2Real gap and avoids overtuning in simulation. Importantly, a 75% improvement in tracking performance is achieved and the Sim2Real gap over the target performance is reduced from a factor of 876 to 1.033.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google