RLPP: A Residual Method for Zero-Shot Real-World Autonomous Racing on Scaled Platforms

要約

自律的なレースは、動的な条件下で迅速な決定を下すことができる堅牢なコントローラーを必要とする複雑な環境を提示します。
タイヤモデルに基づいた従来のコントローラーは信頼性がありますが、多くの場合、広範なチューニングまたはシステムの識別を必要とします。
RLメソッドは、相互作用から直接学習する能力のために大きな可能性を提供しますが、通常、シミュレーションで訓練されたポリシーが現実世界で効果的に機能することができないSIMからRealLのギャップに苦しんでいます。
このホワイトペーパーでは、RLベースの残差でPPコントローラーを強化する残差RLフレームワークであるRLPPを提案します。
このハイブリッドアプローチは、RLを使用して、実際のシナリオでコントローラーのパフォーマンスを微調整しながら、PPの信頼性と解釈可能性を活用します。
F1tenthプラットフォームでの広範なテストは、RLPPがラップタイムを最大6.37％改善し、SOTAメソッドへのギャップを52％以上閉じ、ゼロショットの実世界の展開で信頼できるパフォーマンスを提供し、SIMに関連する重要な課題を克服することを示しています。
– ベースラインRLコントローラーと比較した場合、パフォーマンスのギャップをシミュレーションから現実へのパフォーマンスギャップを8倍以上削減します。
RLPPフレームワークは、オープンソースツールとして利用可能になり、自律レース研究のさらなる調査と進歩を促進します。
コードはwww.github.com/forzaeth/rlppで入手できます。

要約(オリジナル)

Autonomous racing presents a complex environment requiring robust controllers capable of making rapid decisions under dynamic conditions. While traditional controllers based on tire models are reliable, they often demand extensive tuning or system identification. RL methods offer significant potential due to their ability to learn directly from interaction, yet they typically suffer from the Sim-to-Reall gap, where policies trained in simulation fail to perform effectively in the real world. In this paper, we propose RLPP, a residual RL framework that enhances a PP controller with an RL-based residual. This hybrid approach leverages the reliability and interpretability of PP while using RL to fine-tune the controller’s performance in real-world scenarios. Extensive testing on the F1TENTH platform demonstrates that RLPP improves lap times by up to 6.37 %, closing the gap to the SotA methods by more than 52 % and providing reliable performance in zero-shot real-world deployment, overcoming key challenges associated with the Sim-to-Real transfer and reducing the performance gap from simulation to reality by more than 8-fold when compared to the baseline RL controller. The RLPP framework is made available as an open-source tool, encouraging further exploration and advancement in autonomous racing research. The code is available at: www.github.com/forzaeth/rlpp.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google