Predicting Safety Misbehaviours in Autonomous Driving Systems using Uncertainty Quantification

要約

予期しない状況の自動リアルタイム認識は、特にサポートされていない予測不可能なシナリオで、自律車の安全性に重要な役割を果たします。
このペーパーでは、システムレベルのシミュレーションベースのテスト中に、安全性が批判的な不正行為の予測テストのために、ディープラーニングドメインからのさまざまなベイズの不確実性定量化方法を評価します。
具体的には、高い不確実性スコアは、故障を引き起こす運転行動と安全性を区別するために使用できるサポートされていないランタイム条件を示しているという直感に続いて、車両の実行時に不確実性スコアを計算します。
私たちの研究では、2つのベイジアンの不確実性定量化方法、つまりMc-Dropoutと深いアンサンブルに関連する有効性と計算オーバーヘッドの評価を実施しました。
全体として、突然変異テストを介して導入された分散療法と安全でない条件の両方を含むUdacityシミュレーターからの3つのベンチマークでは、両方の方法が、2つの状態を前払いし、数秒前に早期警告を提供する多数の方法を検出し、2つの状態を上回ることに成功しました。
有効性と効率性の観点から、自動エンコーダーと注意マップに基づくOF-The Artの不正行為予測方法。
特に、ディープアンサンブルは、誤報なしでほとんどの不正行為を検出し、比較的少数のモデルを使用しても、リアルタイム検出のために計算可能なモデルを使用してもそうしました。
我々の調査結果は、不確実性の定量化方法を組み込むことは、深いニューラルネットワークベースの自律車両にフェイルセーフメカニズムを構築するための実行可能なアプローチであることを示唆しています。

要約(オリジナル)

The automated real-time recognition of unexpected situations plays a crucial role in the safety of autonomous vehicles, especially in unsupported and unpredictable scenarios. This paper evaluates different Bayesian uncertainty quantification methods from the deep learning domain for the anticipatory testing of safety-critical misbehaviours during system-level simulation-based testing. Specifically, we compute uncertainty scores as the vehicle executes, following the intuition that high uncertainty scores are indicative of unsupported runtime conditions that can be used to distinguish safe from failure-inducing driving behaviors. In our study, we conducted an evaluation of the effectiveness and computational overhead associated with two Bayesian uncertainty quantification methods, namely MC- Dropout and Deep Ensembles, for misbehaviour avoidance. Overall, for three benchmarks from the Udacity simulator comprising both out-of-distribution and unsafe conditions introduced via mutation testing, both methods successfully detected a high number of out-of-bounds episodes providing early warnings several seconds in advance, outperforming two state-of-the-art misbehaviour prediction methods based on autoencoders and attention maps in terms of effectiveness and efficiency. Notably, Deep Ensembles detected most misbehaviours without any false alarms and did so even when employing a relatively small number of models, making them computationally feasible for real-time detection. Our findings suggest that incorporating uncertainty quantification methods is a viable approach for building fail-safe mechanisms in deep neural network-based autonomous vehicles.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google