F1tenth Autonomous Racing With Offline Reinforcement Learning Methods

要約

自動運転レースは、自動運転システムを評価し、車両モビリティ インテリジェンスを強化するための重要なプラットフォームとして機能します。
この研究では、動的な F10 レース環境内でエージェントをトレーニングするためのオフライン強化学習方法を調査します。
この調査は、エージェントが一貫して周回を完了できないオーストリアの競馬場環境でのオンライン トレーニングの課題を調査することから始まります。
その結果、この研究はオフライン戦略に軸足を置き、「専門家」のデモンストレーション データセットを活用してエージェントのトレーニングを促進します。
成功したラップエピソードのデータを収集するために、ウェイポイントベースの準最適コントローラーが開発されました。
このデータは、オフライン学習ベースのアルゴリズムをトレーニングするために使用されます。その後、エージェントのクロストラック パフォーマンスが分析され、目に見えるシナリオから見えないシナリオへのゼロショット移行性と、環境ダイナミクスの変化に適応する能力が評価されます。
この研究では、自律型レーシング シナリオにおける単なるアルゴリズム ベンチマークを超えて、リターン条件付きデシジョン ツリー ベースのポリシーの機構についても紹介および説明し、そのパフォーマンスを完全に接続されたニューラル ネットワーク、トランスフォーマー、および拡散ポリシーを使用する方法と比較し、いくつかの洞察を強調しています。
インタラクションを推進する自律エージェントをトレーニングするための方法の選択。

要約(オリジナル)

Autonomous racing serves as a critical platform for evaluating automated driving systems and enhancing vehicle mobility intelligence. This work investigates offline reinforcement learning methods to train agents within the dynamic F1tenth racing environment. The study begins by exploring the challenges of online training in the Austria race track environment, where agents consistently fail to complete the laps. Consequently, this research pivots towards an offline strategy, leveraging `expert’ demonstration dataset to facilitate agent training. A waypoint-based suboptimal controller is developed to gather data with successful lap episodes. This data is then employed to train offline learning-based algorithms, with a subsequent analysis of the agents’ cross-track performance, evaluating their zero-shot transferability from seen to unseen scenarios and their capacity to adapt to changes in environment dynamics. Beyond mere algorithm benchmarking in autonomous racing scenarios, this study also introduces and describes the machinery of our return-conditioned decision tree-based policy, comparing its performance with methods that employ fully connected neural networks, Transformers, and Diffusion Policies and highlighting some insights into method selection for training autonomous agents in driving interactions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google