Self-Improving Safety Performance of Reinforcement Learning Based Driving with Black-Box Verification Algorithms

要約

この作業では、ブラックボックス検証方法を使用して、強化学習 (RL) ベースの自動運転 (AD) エージェントの安全性能を向上させる自己改善型人工知能システムを提案します。
RL アルゴリズムは、近年 AD アプリケーションで一般的になってきました。
ただし、既存の RL アルゴリズムのパフォーマンスは、トレーニング シナリオの多様性に大きく依存します。
トレーニング フェーズ中にセーフティ クリティカルなシナリオがないと、実際の運転アプリケーションで一般化のパフォーマンスが低下する可能性があります。
トレーニング セットの弱点がブラック ボックス検証方法を通じて調査される新しいフレームワークを提案します。
AD 障害シナリオを発見した後、RL エージェントのトレーニングは転移学習を介して再開され、以前は安全でなかったシナリオのパフォーマンスが向上します。
シミュレーション結果は、私たちのアプローチが RL ベースのアダプティブ クルーズ コントロール (ACC) アプリケーションにおける行動決定の安全上の失敗を効率的に発見し、私たちの方法の反復適用を通じて車両衝突の数を大幅に削減することを示しています。
ソース コードは、https://github.com/data-and-decision-lab/self-improving-RL で公開されています。

要約(オリジナル)

In this work, we propose a self-improving artificial intelligence system to enhance the safety performance of reinforcement learning (RL)-based autonomous driving (AD) agents using black-box verification methods. RL algorithms have become popular in AD applications in recent years. However, the performance of existing RL algorithms heavily depends on the diversity of training scenarios. A lack of safety-critical scenarios during the training phase could result in poor generalization performance in real-world driving applications. We propose a novel framework in which the weaknesses of the training set are explored through black-box verification methods. After discovering AD failure scenarios, the RL agent’s training is re-initiated via transfer learning to improve the performance of previously unsafe scenarios. Simulation results demonstrate that our approach efficiently discovers safety failures of action decisions in RL-based adaptive cruise control (ACC) applications and significantly reduces the number of vehicle collisions through iterative applications of our method. The source code is publicly available at https://github.com/data-and-decision-lab/self-improving-RL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google