Querying Labeled Time Series Data with Scenario Programs

要約

自動運転車が路上で安全に展開できることを確認するために、シミュレーションベースのテストは路上テストを補完する不可欠な要素となっています。
シミュレーション テストと検証の増加は、路上テスト データにほとんどまたはまったく表示されないエッジ ケース シナリオであっても、AV の動作が望ましい結果と一致していることを検証する必要性が高まっていることを反映しています。
これは重大な疑問を引き起こします。シミュレーションにおける AV の失敗は、現実世界のテストから収集されたデータとどの程度一致しているのでしょうか?
シミュレーションされたセンサー データと実際のセンサー データの間のギャップ (シミュレーションと実際のギャップ) の結果、シミュレーションでのエラーは、偽のもの (シミュレーションまたはシミュレーター固有の問題) か、関連性のあるもの (セーフティ クリティカルな AV システムの問題) のいずれかになる可能性があります。
シミュレートされた時系列障害が現実世界の時系列センサー データと一致しているかどうかを検証するための考えられる方法の 1 つは、これらのシナリオでの AV パフォーマンスを理解するために、現実世界の時系列データセットから障害シナリオのインスタンスを取得することを含む可能性があります。
この戦略を採用して、現実世界のラベル付き時系列データ項目と、シミュレーション生成用の Scenic 確率的プログラミング言語の一部から記述されたシミュレートされたシナリオとの間の一致を構成するものの正式な定義を提案します。
この一致の定義を使用して、特定のシナリオに一致するラベル付き時系列データセットのサブセットを特定するクエリ アルゴリズムを開発します。
このアプローチを他のサイバー物理システム (CPS) の安全性を検証するために使用できるようにするために、自動運転車の領域を超えてスケ​​ーラブルなマッチングの定義とアルゴリズムを提示します。
実験では、nuScenes 自動運転データセットから特定された一連の困難で珍しい時系列シナリオに対するアルゴリズムの精度とスケーラビリティを実証します。
幅広い CPS で自由に使用できるクエリ アルゴリズムの完全なシステム実装が含まれています。

要約(オリジナル)

In order to ensure autonomous vehicles are safe for on-road deployment, simulation-based testing has become an integral complement to on-road testing. The rise in simulation testing and validation reflects a growing need to verify that AV behavior is consistent with desired outcomes even in edge case scenarios $-$ which may seldom or never appear in on-road testing data. This raises a critical question: to what extent are AV failures in simulation consistent with data collected from real-world testing? As a result of the gap between simulated and real sensor data (sim-to-real gap), failures in simulation can either be spurious (simulation- or simulator-specific issues) or relevant (safety-critical AV system issues). One possible method for validating if simulated time series failures are consistent with real world time series sensor data could involve retrieving instances of the failure scenario from a real-world time series dataset, in order to understand AV performance in these scenarios. Adopting this strategy, we propose a formal definition of what constitutes a match between a real-world labeled time series data item and a simulated scenario written from a fragment of the Scenic probabilistic programming language for simulation generation. With this definition of a match, we develop a querying algorithm that identifies the subset of a labeled time series dataset matching a given scenario. To allow this approach to be used to verify the safety of other cyber-physical systems (CPS), we present a definition and algorithm for matching scalable beyond the autonomous vehicles domain. Experiments demonstrate the precision and scalability of the algorithm for a set of challenging and uncommon time series scenarios identified from the nuScenes autonomous driving dataset. We include a full system implementation of the querying algorithm freely available for use across a wide range of CPS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google