Mastering Nordschleife — A comprehensive race simulation for AI strategy decision-making in motorsports

要約

サーキットモータースポーツの分野では、レース戦略がレース結果を決定する上で極めて重要な役割を果たします。
この戦略は、燃料消費とタイヤの性能低下により必要となるピットストップのタイミングに焦点を当てています。
レース戦略の目的は、タイヤ交換や燃料補給などのピットストップの利点と、ピットレーンで生じる時間のロスとのバランスを取ることです。
現在のレース シミュレーションは、可能な限り最善のレース戦略を推定するために使用されますが、粒度や確率的イベントのモデリングが異なり、ラップ内での手動入力が必要です。
この論文では、GT レースに合わせた新しいシミュレーション モデルを開発し、人工知能を活用して戦略的意思決定を自動化することで、これらの制限に対処します。
シミュレーションを OpenAI の Gym フレームワークと統合することで、強化学習環境が作成され、エージェントがトレーニングされます。
この研究では、経験的なパラメーター検証のために 2020 年のニュルブルクリンク ラングシュテッケン シリーズの過去のタイミング データを利用して、さまざまなハイパーパラメーター構成、観察空間、報酬関数を評価しています。
この結果は、訓練されたエージェントがピットストップのタイミングと燃料補給量に関して賢明な決定を下すため、強化学習がレース戦略の意思決定を改善する可能性があることを示しています。
学習率、減衰率、エピソード数などの主要なパラメータが重要な要素として特定される一方、燃料質量と現在のレース順位の組み合わせがポリシー開発に最も効果的であることが証明されています。
この論文は、レース シミュレーションにおける強化学習の広範な応用に貢献し、FIA Formula~1 を超えて、特に GT レース ドメインにおけるレース戦略最適化の可能性を解き放ちます。

要約(オリジナル)

In the realm of circuit motorsports, race strategy plays a pivotal role in determining race outcomes. This strategy focuses on the timing of pit stops, which are necessary due to fuel consumption and tire performance degradation. The objective of race strategy is to balance the advantages of pit stops, such as tire replacement and refueling, with the time loss incurred in the pit lane. Current race simulations, used to estimate the best possible race strategy, vary in granularity, modeling of probabilistic events, and require manual input for in-laps. This paper addresses these limitations by developing a novel simulation model tailored to GT racing and leveraging artificial intelligence to automate strategic decisions. By integrating the simulation with OpenAI’s Gym framework, a reinforcement learning environment is created and an agent is trained. The study evaluates various hyperparameter configurations, observation spaces, and reward functions, drawing upon historical timing data from the 2020 N\’urburgring Langstrecken Serie for empirical parameter validation. The results demonstrate the potential of reinforcement learning for improving race strategy decision-making, as the trained agent makes sensible decisions regarding pit stop timing and refueling amounts. Key parameters, such as learning rate, decay rate and the number of episodes, are identified as crucial factors, while the combination of fuel mass and current race position proves most effective for policy development. The paper contributes to the broader application of reinforcement learning in race simulations and unlocks the potential for race strategy optimization beyond FIA Formula~1, specifically in the GT racing domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google