Adversarial Deep Reinforcement Learning for Improving the Robustness of Multi-agent Autonomous Driving Policies

要約

自動運転車は、車の安全性を損ない、他の道路利用者に危険をもたらす敵対的攻撃に対して脆弱であることでよく知られています。
敵対者から効果的に防御するには、自動運転車をテストして運転エラーを検出するだけでなく、これらのエラーに対する自動車のロバスト性を向上させる必要があります。
この目的のために、この論文では、(i) 敵対的運転エージェントを訓練することによって自動運転車の故障状態を見つけること、および (ii) 自動運転車を再訓練することによって自動運転車のロバスト性を改善することからなる、自動運転車のための 2 段階の方法論を提案します。
効果的な敵対的インプットで。
私たちの方法論は、マルチエージェント環境での自動運転車のテストをサポートします。この環境では、自動運転車の運転制御の決定をテストするために、2 つのカスタム報酬関数で敵対車ポリシーをトレーニングおよび比較します。
ビジョンベースの忠実度の高い市街地走行シミュレーション環境で実験を行います。
私たちの結果は、敵対的テストを使用して誤った自動運転動作を見つけ、続いて深層強化学習ベースの自動運転ポリシーの堅牢性を向上させるための敵対的トレーニングを使用できることを示しています。
効果的な敵対的入力を使用して再トレーニングされた自動運転車は、衝突とオフロードのステアリングエラーの削減という点で、運転ポリシーのパフォーマンスを著しく向上させることを示しています。

要約(オリジナル)

Autonomous cars are well known for being vulnerable to adversarial attacks that can compromise the safety of the car and pose danger to other road users. To effectively defend against adversaries, it is required to not only test autonomous cars for finding driving errors but to improve the robustness of the cars to these errors. To this end, in this paper, we propose a two-step methodology for autonomous cars that consists of (i) finding failure states in autonomous cars by training the adversarial driving agent, and (ii) improving the robustness of autonomous cars by retraining them with effective adversarial inputs. Our methodology supports testing autonomous cars in a multi-agent environment, where we train and compare adversarial car policy on two custom reward functions to test the driving control decision of autonomous cars. We run experiments in a vision-based high-fidelity urban driving simulated environment. Our results show that adversarial testing can be used for finding erroneous autonomous driving behavior, followed by adversarial training for improving the robustness of deep reinforcement learning-based autonomous driving policies. We demonstrate that the autonomous cars retrained using the effective adversarial inputs noticeably increase the performance of their driving policies in terms of reduced collision and offroad steering errors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google