Self-Improving Safety Performance of Reinforcement Learning Based Driving with Black-Box Verification Algorithms

要約

この研究では、ブラックボックス検証手法を使用して、強化学習 (RL) ベースの自動運転 (AD) エージェントの安全性能を強化する自己改善型人工知能システムを提案します。
RL アルゴリズムは、近年 AD アプリケーションで普及してきました。
ただし、既存の RL アルゴリズムのパフォーマンスは、トレーニング シナリオの多様性に大きく依存します。
トレーニング段階で安全性が重要なシナリオが欠如していると、現実世界の運転アプリケーションでの汎化パフォーマンスが低下する可能性があります。
我々は、ブラックボックス検証手法を通じてトレーニングセットの弱点を調査する新しいフレームワークを提案します。
AD 障害シナリオを検出した後、以前は安全でなかったシナリオのパフォーマンスを向上させるために、転移学習を介して RL エージェントのトレーニングが再開始されます。
シミュレーション結果は、私たちのアプローチがRLベースのアダプティブクルーズコントロール（ACC）アプリケーションにおける行動決定の安全性の失敗を効率的に発見し、私たちの方法の反復適用を通じて車両の衝突回数を大幅に削減することを示しています。
ソース コードは https://github.com/data-and-decision-lab/self-improving-RL で公開されています。

要約(オリジナル)

In this work, we propose a self-improving artificial intelligence system to enhance the safety performance of reinforcement learning (RL)-based autonomous driving (AD) agents using black-box verification methods. RL algorithms have become popular in AD applications in recent years. However, the performance of existing RL algorithms heavily depends on the diversity of training scenarios. A lack of safety-critical scenarios during the training phase could result in poor generalization performance in real-world driving applications. We propose a novel framework in which the weaknesses of the training set are explored through black-box verification methods. After discovering AD failure scenarios, the RL agent’s training is re-initiated via transfer learning to improve the performance of previously unsafe scenarios. Simulation results demonstrate that our approach efficiently discovers safety failures of action decisions in RL-based adaptive cruise control (ACC) applications and significantly reduces the number of vehicle collisions through iterative applications of our method. The source code is publicly available at https://github.com/data-and-decision-lab/self-improving-RL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google