RLPP: A Residual Method for Zero-Shot Real-World Autonomous Racing on Scaled Platforms

要約

自律的なレースは、動的な条件下で迅速な決定を下すことができる堅牢なコントローラーを必要とする複雑な環境を提示します。
タイヤモデルに基づいた従来のコントローラーは信頼性がありますが、多くの場合、広範なチューニングまたはシステムの識別を必要とします。
強化学習（RL）方法は、相互作用から直接学習する能力のために大きな可能性を提供しますが、通常、シミュレーションで訓練されたポリシーが現実の世界で効果的に機能することができないSIMからリアルのギャップに苦しんでいます。
この論文では、RLベースの残差を備えた純粋な追跡（PP）コントローラーを強化する残差RLフレームワークであるRLPPを提案します。
このハイブリッドアプローチは、RLを使用して、実際のシナリオでコントローラーのパフォーマンスを微調整しながら、PPの信頼性と解釈可能性を活用します。
F1tenthプラットフォームでの広範なテストは、RLPPがベースラインコントローラーのラップタイムを最大6.37％改善し、最先端のメソッドへのギャップを52％以上閉じ、ゼロショットのリアルで信頼できるパフォーマンスを提供することを示しています。
世界の展開、SIMからリアルへの転送に関連する重要な課題を克服し、ベースラインRLコントローラーと比較した場合、シミュレーションから現実へのパフォーマンスギャップを8倍以上削減します。
RLPPフレームワークは、オープンソースツールとして利用可能になり、自律レース研究のさらなる調査と進歩を促進します。
コードはwww.github.com/forzaeth/rlppで入手できます。

要約(オリジナル)

Autonomous racing presents a complex environment requiring robust controllers capable of making rapid decisions under dynamic conditions. While traditional controllers based on tire models are reliable, they often demand extensive tuning or system identification. Reinforcement Learning (RL) methods offer significant potential due to their ability to learn directly from interaction, yet they typically suffer from the sim-to-real gap, where policies trained in simulation fail to perform effectively in the real world. In this paper, we propose RLPP, a residual RL framework that enhances a Pure Pursuit (PP) controller with an RL-based residual. This hybrid approach leverages the reliability and interpretability of PP while using RL to fine-tune the controller’s performance in real-world scenarios. Extensive testing on the F1TENTH platform demonstrates that RLPP improves lap times of the baseline controllers by up to 6.37 %, closing the gap to the State-of-the-Art methods by more than 52 % and providing reliable performance in zero-shot real-world deployment, overcoming key challenges associated with the sim-to-real transfer and reducing the performance gap from simulation to reality by more than 8-fold when compared to the baseline RL controller. The RLPP framework is made available as an open-source tool, encouraging further exploration and advancement in autonomous racing research. The code is available at: www.github.com/forzaeth/rlpp.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google