Towards Optimal Head-to-head Autonomous Racing with Curriculum Reinforcement Learning

要約

一対一の自動レースは、車両が最小限のラップタイムを達成するために摩擦やハンドリングの限界で動作する必要があると同時に、相手を追い越す/前を走るための戦略を積極的に模索する必要があるため、困難な問題です。
この研究では、車両のダイナミクスを正確にモデル化する強化学習のための直接対決のレーシング環境を提案します。
これまでのいくつかの研究では、複雑な車両ダイナミクス環境でポリシーを直接学習しようとしましたが、最適なポリシーを学習することはできませんでした。
この研究では、強化学習エージェントに最適なポリシーに近いポリシーを教えるために、より単純な車両モデルからより複雑な実環境に移行することによって、カリキュラム学習ベースのフレームワークを提案します。
また、最適性を損なうことなく、より効果的な方法でエージェントの安全性を強制する、コントロールバリア関数ベースの安全強化学習アルゴリズムも提案します。

要約(オリジナル)

Head-to-head autonomous racing is a challenging problem, as the vehicle needs to operate at the friction or handling limits in order to achieve minimum lap times while also actively looking for strategies to overtake/stay ahead of the opponent. In this work we propose a head-to-head racing environment for reinforcement learning which accurately models vehicle dynamics. Some previous works have tried learning a policy directly in the complex vehicle dynamics environment but have failed to learn an optimal policy. In this work, we propose a curriculum learning-based framework by transitioning from a simpler vehicle model to a more complex real environment to teach the reinforcement learning agent a policy closer to the optimal policy. We also propose a control barrier function-based safe reinforcement learning algorithm to enforce the safety of the agent in a more effective way while not compromising on optimality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google