Generating Transferable Adversarial Simulation Scenarios for Self-Driving via Neural Rendering

要約

自動運転ソフトウェア パイプラインには、多数のトレーニング例から学習されたコンポーネントが含まれていますが、システム全体の安全性と汎化パフォーマンスを評価することは依然として困難です。
自動運転車の実際の展開をスケールアップすることと併せて、運転ポリシーが失敗するシミュレーション シナリオを自動的に見つけることが非常に重要です。
政策を公称軌道から最大限に摂動させることを目的とした最適制御問題を解くことにより、自動運転のための敵対的シミュレーションシナリオを効率的に生成する方法を提案します。
画像ベースの駆動ポリシーが与えられた場合、展開シーンのニューラル レンダリング表現に新しいオブジェクトを挿入し、そのテクスチャを最適化して、ポリシーへの敵対的なセンサー入力を生成できることを示します。
純粋にニューラル レンダラー (サロゲート シーン) で発見された敵対的シナリオは、多くの場合、さらなる最適化なしでデプロイメント シーンに正常に転送できることを示します。
学習されたサロゲート シーンが展開シーンに十分に近い場合、この転送がシミュレーション環境と実際の環境の両方で発生することを示します。

要約(オリジナル)

Self-driving software pipelines include components that are learned from a significant number of training examples, yet it remains challenging to evaluate the overall system’s safety and generalization performance. Together with scaling up the real-world deployment of autonomous vehicles, it is of critical importance to automatically find simulation scenarios where the driving policies will fail. We propose a method that efficiently generates adversarial simulation scenarios for autonomous driving by solving an optimal control problem that aims to maximally perturb the policy from its nominal trajectory. Given an image-based driving policy, we show that we can inject new objects in a neural rendering representation of the deployment scene, and optimize their texture in order to generate adversarial sensor inputs to the policy. We demonstrate that adversarial scenarios discovered purely in the neural renderer (surrogate scene) can often be successfully transferred to the deployment scene, without further optimization. We demonstrate this transfer occurs both in simulated and real environments, provided the learned surrogate scene is sufficiently close to the deployment scene.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google