High-speed Autonomous Racing using Trajectory-aided Deep Reinforcement Learning

要約

自動レースの古典的な方法では、リアルタイムの位置特定を使用して、事前に計算された最適な軌道をたどります。
対照的に、エンドツーエンドの深層強化学習 (DRL) では、生の LiDAR スキャンのみを使用してエージェントをトレーニングしてレースを行うことができます。
従来の手法ではハイパフォーマンス レース向けの最適化が優先されますが、DRL アプローチでは速度プロファイルはほとんど考慮されず、低パフォーマンスのコンテキストに重点が置かれています。
この取り組みは、高速自律レースにエンドツーエンドの DRL エージェントを使用する際の問題に対処します。
最適な軌道 (レーシング ライン) を学習定式化に組み込むことで、DRL エージェントを高性能のレーシングに向けてトレーニングする軌道支援学習 (TAL) を紹介します。
私たちの手法は、オープンソースの F1Tenth シミュレーターの 4 つのマップで TD3 アルゴリズムを使用して評価されます。
結果は、私たちの方法がベースラインと比較して、高速でのラップ完了率が大幅に高いことを示しています。
これは、TAL がエージェントをトレーニングして、コーナーで減速し、最適な軌道を大まかに追跡するという実現可能な速度プロファイルを選択するためです。

要約(オリジナル)

The classical method of autonomous racing uses real-time localisation to follow a precalculated optimal trajectory. In contrast, end-to-end deep reinforcement learning (DRL) can train agents to race using only raw LiDAR scans. While classical methods prioritise optimization for high-performance racing, DRL approaches have focused on low-performance contexts with little consideration of the speed profile. This work addresses the problem of using end-to-end DRL agents for high-speed autonomous racing. We present trajectory-aided learning (TAL) that trains DRL agents for high-performance racing by incorporating the optimal trajectory (racing line) into the learning formulation. Our method is evaluated using the TD3 algorithm on four maps in the open-source F1Tenth simulator. The results demonstrate that our method achieves a significantly higher lap completion rate at high speeds compared to the baseline. This is due to TAL training the agent to select a feasible speed profile of slowing down in the corners and roughly tracking the optimal trajectory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google