Learning Autonomous Race Driving with Action Mapping Reinforcement Learning

要約

自動レース運転では、物理的および安全上の制約を尊重しながら、ラップタイムを短縮するためにハンドリング限界のギリギリで車両を操作する必要があるため、複雑な制御の課題が生じます。
この論文では、タイヤと路面の摩擦の制限から生じる状態依存の入力制約を管理するアクション マッピング (AM) メカニズムを組み込んだ、新しい強化学習 (RL) ベースのアプローチを紹介します。
摩擦制約に関連する複雑な力学に対処する、AM を実装するための数値近似法が提案されています。
AM メカニズムにより、学習された運転ポリシーをさまざまな摩擦条件に一般化することもできます。
私たちが開発したレースシミュレーターでの実験結果は、提案された AM-RL アプローチが従来の RL ベースのアプローチと比較して優れたラップタイムとより高い成功率を達成することを示しています。
AM による政策推進の一般化能力も実験で検証されています。

要約(オリジナル)

Autonomous race driving poses a complex control challenge as vehicles must be operated at the edge of their handling limits to reduce lap times while respecting physical and safety constraints. This paper presents a novel reinforcement learning (RL)-based approach, incorporating the action mapping (AM) mechanism to manage state-dependent input constraints arising from limited tire-road friction. A numerical approximation method is proposed to implement AM, addressing the complex dynamics associated with the friction constraints. The AM mechanism also allows the learned driving policy to be generalized to different friction conditions. Experimental results in our developed race simulator demonstrate that the proposed AM-RL approach achieves superior lap times and better success rates compared to the conventional RL-based approaches. The generalization capability of driving policy with AM is also validated in the experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google