Evaluating the Impact of Flaky Simulators on Testing Autonomous Driving Systems

要約

シミュレータは自動運転システム (ADS) のテストに広く使用されていますが、シミュレータが不安定になる可能性があるため、一貫性のないテスト結果が生じる可能性があります。
私たちは、次の 2 つの重要な質問に対処することで、ADS のシミュレーションベースのテストにおけるテストの不安定性を調査します。 (1) 不安定な ADS シミュレーションは、ランダム化されたアルゴリズムに依存する自動テストにどのような影響を与えますか?
(2) 機械学習 (ML) は、必要なテストの再実行回数を減らしながら、不安定な ADS テストを効果的に特定できるか?
広く使用されている 2 つのオープンソース ADS シミュレータと 5 つの多様な ADS テスト設定から得られた私たちの経験的結果は、ADS におけるテストの不安定性は一般的に発生しており、ランダム化アルゴリズムによって得られるテスト結果に大きな影響を与える可能性があることを示しています。
さらに、当社の ML 分類器は、1 回のテスト実行のみで不安定な ADS テストを効果的に特定し、3 つの異なる ADS テスト設定で $85$%、$82$%、$96$% の F1 スコアを達成しました。
当社の分類器は、少なくとも 2 回テストを実行する必要がある非 ML ベースラインを、F1 スコアのパフォーマンスでそれぞれ $31$%、$21$%、$13$% 大幅に上回っています。
最後に、私たちの研究の範囲、影響、限界について説明します。
完全なレプリケーション パッケージを Github リポジトリで提供します。

要約(オリジナル)

Simulators are widely used to test Autonomous Driving Systems (ADS), but their potential flakiness can lead to inconsistent test results. We investigate test flakiness in simulation-based testing of ADS by addressing two key questions: (1) How do flaky ADS simulations impact automated testing that relies on randomized algorithms? and (2) Can machine learning (ML) effectively identify flaky ADS tests while decreasing the required number of test reruns? Our empirical results, obtained from two widely-used open-source ADS simulators and five diverse ADS test setups, show that test flakiness in ADS is a common occurrence and can significantly impact the test results obtained by randomized algorithms. Further, our ML classifiers effectively identify flaky ADS tests using only a single test run, achieving F1-scores of $85$%, $82$% and $96$% for three different ADS test setups. Our classifiers significantly outperform our non-ML baseline, which requires executing tests at least twice, by $31$%, $21$%, and $13$% in F1-score performance, respectively. We conclude with a discussion on the scope, implications and limitations of our study. We provide our complete replication package in a Github repository.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google