PeSOTIF: a Challenging Visual Dataset for Perception SOTIF Problems in Long-tail Traffic Scenarios

要約

自律走行システムにおける知覚アルゴリズムは、アルゴリズムの性能不足とダイナミックな運転環境によって意図された機能の安全性（SOTIF）の問題が引き起こされる可能性のあるロングテール交通シナリオにおいて大きな課題に直面している。しかし、このようなシナリオは現在のオープンソースデータセットに体系的に含まれていないため、本論文はそのギャップを埋めるものである。本論文では、トリガー条件の解析と列挙に基づき、複数のリソースから収集した様々なロングテール交通シナリオを含む、高品質の多様なデータセットを公開します。このデータセットでは、確率的物体検出（POD）の開発を考慮し、シナリオ中の知覚SOTIF問題を引き起こす可能性のあるトリガーソースをキーオブジェクトとしてマークしている。また、不確実性を介したキーオブジェクトの特定におけるPODアルゴリズムの有効性を検証するための評価プロトコルが提案されている。データセットの拡張は止まらず、オープンソースの最初のバッチには1126フレームが含まれ、各フレームには平均2.27のキーオブジェクトと2.47のノーマルオブジェクトが含まれている。本論文では、このデータセットをSOTIF研究に利用する方法を示すため、さらに知覚SOTIFエントロピーを定量化し、知覚システムにとってシナリオが未知で安全でないかを確認する。実験結果から、定量化されたエントロピーは、効果的かつ効率的に知覚アルゴリズムの失敗を反映することができることが示された。

要約(オリジナル)

Perception algorithms in autonomous driving systems confront great challenges in long-tail traffic scenarios, where the problems of Safety of the Intended Functionality (SOTIF) could be triggered by the algorithm performance insufficiencies and dynamic operational environment. However, such scenarios are not systematically included in current open-source datasets, and this paper fills the gap accordingly. Based on the analysis and enumeration of trigger conditions, a high-quality diverse dataset is released, including various long-tail traffic scenarios collected from multiple resources. Considering the development of probabilistic object detection (POD), this dataset marks trigger sources that may cause perception SOTIF problems in the scenarios as key objects. In addition, an evaluation protocol is suggested to verify the effectiveness of POD algorithms in identifying the key objects via uncertainty. The dataset never stops expanding, and the first batch of open-source data includes 1126 frames with an average of 2.27 key objects and 2.47 normal objects in each frame. To demonstrate how to use this dataset for SOTIF research, this paper further quantifies the perception SOTIF entropy to confirm whether a scenario is unknown and unsafe for a perception system. The experimental results show that the quantified entropy can effectively and efficiently reflect the failure of the perception algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL