Boundary State Generation for Testing and Improvement of Autonomous Driving Systems

要約

ディープ ニューラル ネットワーク (DNN) とセンサー テクノロジーの最近の進歩により、自律性のレベルが高まり続ける自動運転システム (ADS) が可能になりました。
ただし、その信頼性を評価することは依然として重要な懸念事項です。
最先端の ADS テスト手法は、ADS が誤動作するまで、シミュレートされた運転環境の制御可能な属性を変更します。
このようなアプローチでは、ADS が正常に動作する環境インスタンスは、ADS が誤動作する可能性のある隠れた運転条件が含まれている可能性があるにもかかわらず、破棄されます。
この論文では、ADS テスト用の新しいテスト ジェネレーターである GENBO (GENerator of BOundary statepairs) を紹介します。
GENBO は、故障のない環境インスタンスで収集された自車両の運転条件 (位置、速度、方向) を変更し、同じ環境内の動作境界 (つまり、モデルが不正な動作を開始する場所) で困難な運転条件を効率的に生成します。
実例。
このような境界条件を使用して、初期トレーニング データセットを強化し、テスト対象の DNN モデルを再トレーニングします。
私たちの評価結果は、再トレーニングされたモデルは、元の DNN モデルと比較して、別の評価トラックのセットで平均して最大 3 倍高い成功率を示していることを示しています。

要約(オリジナル)

Recent advances in Deep Neural Networks (DNNs) and sensor technologies are enabling autonomous driving systems (ADSs) with an ever-increasing level of autonomy. However, assessing their dependability remains a critical concern. State-of-the-art ADS testing approaches modify the controllable attributes of a simulated driving environment until the ADS misbehaves. In such approaches, environment instances in which the ADS is successful are discarded, despite the possibility that they could contain hidden driving conditions in which the ADS may misbehave. In this paper, we present GENBO (GENerator of BOundary state pairs), a novel test generator for ADS testing. GENBO mutates the driving conditions of the ego vehicle (position, velocity and orientation), collected in a failure-free environment instance, and efficiently generates challenging driving conditions at the behavior boundary (i.e., where the model starts to misbehave) in the same environment instance. We use such boundary conditions to augment the initial training dataset and retrain the DNN model under test. Our evaluation results show that the retrained model has, on average, up to 3x higher success rate on a separate set of evaluation tracks with respect to the original DNN model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google