MUSES: The Multi-Sensor Semantic Perception Dataset for Driving under Uncertainty

要約

自動運転車でレベル 5 の運転自動化を実現するには、さまざまな条件下でさまざまなセンサーからのデータを解析できる堅牢なセマンティック視覚認識システムが必要です。
しかし、既存の意味的知覚データセットには、自動運転車で通常使用されるカメラ以外の重要なモダリティが欠けていることが多く、困難な状況でのセマンティック アノテーションを支援および改善するためにそのようなモダリティが活用されていません。
これに対処するために、不確実性が増大した悪条件下での運転のための MUlti-SEnsor セマンティック知覚データセットである MUSES を導入します。
MUSES には、さまざまな天候や照明の下で撮影された 2500 枚の画像に対する 2D パノプティック アノテーションを備えた、同期されたマルチモーダル記録が含まれています。
このデータセットには、フレーム カメラ、LIDAR、レーダー、イベント カメラ、IMU/GNSS センサーが統合されています。
私たちの新しい 2 段階パノプティック アノテーション プロトコルは、グランド トゥルースにおけるクラス レベルとインスタンス レベルの不確実性の両方をキャプチャし、標準のセマンティック セグメンテーションおよびパノプティック セグメンテーションとともに、導入した不確実性を認識したパノプティック セグメンテーションという新しいタスクを可能にします。
MUSES は、トレーニングに効果的であることと、さまざまな視覚条件下でのモデルの評価に困難を伴うことが証明されており、マルチモーダルで不確実性を意識した高密度の意味認識の研究に新たな道を開きます。
私たちのデータセットとベンチマークは、https://muses.vision.ee.ethz.ch で公開されています。

要約(オリジナル)

Achieving level-5 driving automation in autonomous vehicles necessitates a robust semantic visual perception system capable of parsing data from different sensors across diverse conditions. However, existing semantic perception datasets often lack important non-camera modalities typically used in autonomous vehicles, or they do not exploit such modalities to aid and improve semantic annotations in challenging conditions. To address this, we introduce MUSES, the MUlti-SEnsor Semantic perception dataset for driving in adverse conditions under increased uncertainty. MUSES includes synchronized multimodal recordings with 2D panoptic annotations for 2500 images captured under diverse weather and illumination. The dataset integrates a frame camera, a lidar, a radar, an event camera, and an IMU/GNSS sensor. Our new two-stage panoptic annotation protocol captures both class-level and instance-level uncertainty in the ground truth and enables the novel task of uncertainty-aware panoptic segmentation we introduce, along with standard semantic and panoptic segmentation. MUSES proves both effective for training and challenging for evaluating models under diverse visual conditions, and it opens new avenues for research in multimodal and uncertainty-aware dense semantic perception. Our dataset and benchmark are publicly available at https://muses.vision.ee.ethz.ch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google