MUAD: Multiple Uncertainties for Autonomous Driving, a benchmark for multiple uncertainty types and tasks

要約

予測可能な不確実性の推定は、実世界の自律システムにディープニューラルネットワークを安全に導入するために不可欠である。しかし、不確実性の異なるタイプとソースを分離することは、特に不確実性のためのグランドトゥルースが存在しないため、ほとんどのデータセットにとって些細なことではありません。さらに、様々な強度の悪天候はニューラルネットワークの予測を混乱させる可能性があるが、通常、公開データセットのトレーニングセットとテストセットの両方で十分に表現されていない。我々はこれらの欠点を軽減することを試み、多様な悪天候（夜、霧、雨、雪）、分布外のオブジェクト、意味分割、深度推定、オブジェクト、インスタンス検出用の注釈を持つ10,413のリアルな合成画像からなるMUADデータセット（Multiple Uncertainties for Autonomous Driving）を紹介する。MUADは、モデルの性能に対する様々な不確実性ソースの影響をより良く評価することを可能にする。我々は、複数のタスクにわたるいくつかのベースラインのDeep Neural Networksに対するこの影響の徹底的な実験的研究を行い、研究者が悪条件でアルゴリズムを方法論的にベンチマークできるように我々のデータセットを公開します。その他のビジュアライゼーションとMUADのダウンロードリンクは、https://muad-dataset.github.io/ で入手できます。

要約(オリジナル)

Predictive uncertainty estimation is essential for safe deployment of Deep Neural Networks in real-world autonomous systems. However, disentangling the different types and sources of uncertainty is non trivial for most datasets, especially since there is no ground truth for uncertainty. In addition, while adverse weather conditions of varying intensities can disrupt neural network predictions, they are usually under-represented in both training and test sets in public datasets.We attempt to mitigate these setbacks and introduce the MUAD dataset (Multiple Uncertainties for Autonomous Driving), consisting of 10,413 realistic synthetic images with diverse adverse weather conditions (night, fog, rain, snow), out-of-distribution objects, and annotations for semantic segmentation, depth estimation, object, and instance detection. MUAD allows to better assess the impact of different sources of uncertainty on model performance. We conduct a thorough experimental study of this impact on several baseline Deep Neural Networks across multiple tasks, and release our dataset to allow researchers to benchmark their algorithm methodically in adverse conditions. More visualizations and the download link for MUAD are available at https://muad-dataset.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL