On learning racing policies with reinforcement learning

要約

完全自律走行車は、安全性と効率の向上を約束する。しかし、困難なコーナーケースにおいて信頼性の高い運転を確保するには、車両の限界で性能を発揮できる制御アルゴリズムが必要である。我々は、自律的なレースという課題を考慮し、強化学習(RL)を用いたレースポリシーの学習によってこの課題を解決することを提案する。我々のアプローチは、領域ランダム化、アクチュエータダイナミクスモデリング、ポリシーアーキテクチャ設計を活用し、実際のプラットフォーム上で信頼性が高く安全なゼロショット展開を可能にする。F1TENTHレースカーで評価された我々のRLポリシーは、最先端のモデル予測制御（MPC）を凌ぐだけでなく、我々の知る限り、RCレースにおいてRLポリシーが熟練した人間のドライバーを凌駕した最初の事例でもある。本研究では、この性能向上をもたらす主要因を明らかにし、自律走行車のためのロバストなRLベースの制御戦略の設計に重要な知見を提供する。

要約(オリジナル)

Fully autonomous vehicles promise enhanced safety and efficiency. However, ensuring reliable operation in challenging corner cases requires control algorithms capable of performing at the vehicle limits. We address this requirement by considering the task of autonomous racing and propose solving it by learning a racing policy using Reinforcement Learning (RL). Our approach leverages domain randomization, actuator dynamics modeling, and policy architecture design to enable reliable and safe zero-shot deployment on a real platform. Evaluated on the F1TENTH race car, our RL policy not only surpasses a state-of-the-art Model Predictive Control (MPC), but, to the best of our knowledge, also represents the first instance of an RL policy outperforming expert human drivers in RC racing. This work identifies the key factors driving this performance improvement, providing critical insights for the design of robust RL-based control strategies for autonomous vehicles.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL