IDD-AW: A Benchmark for Safe and Robust Segmentation of Drive Scenes in Unstructured Traffic and Adverse Weather

要約

完全自動運転車の大規模導入には、構造化されていない交通や気象条件に対する非常に高度な堅牢性が必要であり、安全でない予測ミスを防ぐ必要があります。
ドライブシーンのセグメンテーションに焦点を当てたデータセットやベンチマークはいくつかありますが、安全性と堅牢性の問題に特に焦点を当てているわけではありません。
IDD-AW データセットを紹介します。このデータセットは、構造化されていない運転条件で、雨、霧、低照度、雪の下で撮影された、ピクセル レベルの注釈が付いた 5,000 ペアの高品質画像を提供します。
他の悪天候データセットと比較して、i.) より多くの注釈付き画像、ii.) 各フレームのペアになった近赤外線 (NIR) 画像、iii.) 構造化されていない交通状況をキャプチャするための 4 レベルのラベル階層を持つより大きなラベル セットを提供します。
。
IDD-AW のセマンティック セグメンテーションの最先端モデルをベンチマークします。
また、階層データセットに対して「和集合に対する安全な平均積分 (Safe mIoU)」と呼ばれる新しい指標を提案します。これは、和集合に対する平均積集合 (mIoU) の従来の定義では捉えられない危険な予測ミスにペナルティを与えます。
結果は、IDD-AW がこれらのタスクにとってこれまでで最も困難なデータセットの 1 つであることを示しています。
データセットとコードは、http://iddaw.github.io から入手できます。

要約(オリジナル)

Large-scale deployment of fully autonomous vehicles requires a very high degree of robustness to unstructured traffic, and weather conditions, and should prevent unsafe mispredictions. While there are several datasets and benchmarks focusing on segmentation for drive scenes, they are not specifically focused on safety and robustness issues. We introduce the IDD-AW dataset, which provides 5000 pairs of high-quality images with pixel-level annotations, captured under rain, fog, low light, and snow in unstructured driving conditions. As compared to other adverse weather datasets, we provide i.) more annotated images, ii.) paired Near-Infrared (NIR) image for each frame, iii.) larger label set with a 4-level label hierarchy to capture unstructured traffic conditions. We benchmark state-of-the-art models for semantic segmentation in IDD-AW. We also propose a new metric called ”Safe mean Intersection over Union (Safe mIoU)” for hierarchical datasets which penalizes dangerous mispredictions that are not captured in the traditional definition of mean Intersection over Union (mIoU). The results show that IDD-AW is one of the most challenging datasets to date for these tasks. The dataset and code will be available here: http://iddaw.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google