Scaling Is All You Need: Autonomous Driving with JAX-Accelerated Reinforcement Learning

要約

強化学習は、ビデオゲームのような複雑な領域において、最も優れた人間さえも上回るパフォーマンスを発揮することが実証されています。
しかし、自動運転に必要な規模で強化学習実験を実行することは非常に困難です。
大規模な強化学習システムを構築し、それを多数の GPU に分散することは困難です。
現実世界の車両でのトレーニング中に経験を収集することは、安全性と拡張性の観点からは法外です。
したがって、現実世界の運転からの大量のデータを使用する、効率的で現実的な運転シミュレータが必要です。
私たちはこれらの機能を組み合わせて、自動運転のための大規模な強化学習実験を実施します。
規模が拡大するにつれてポリシーのパフォーマンスが向上することを実証します。
当社の最もパフォーマンスの高いポリシーは、自動運転用の最先端の機械学習によって生成されたポリシーと比較して、失敗率を 64% 削減し、運転の進捗率を 25% 向上させます。

要約(オリジナル)

Reinforcement learning has been demonstrated to outperform even the best humans in complex domains like video games. However, running reinforcement learning experiments on the required scale for autonomous driving is extremely difficult. Building a large scale reinforcement learning system and distributing it across many GPUs is challenging. Gathering experience during training on real world vehicles is prohibitive from a safety and scalability perspective. Therefore, an efficient and realistic driving simulator is required that uses a large amount of data from real-world driving. We bring these capabilities together and conduct large-scale reinforcement learning experiments for autonomous driving. We demonstrate that our policy performance improves with increasing scale. Our best performing policy reduces the failure rate by 64% while improving the rate of driving progress by 25% compared to the policies produced by state-of-the-art machine learning for autonomous driving.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google