A-BDD: Leveraging Data Augmentations for Safe Autonomous Driving in Adverse Weather and Lighting

要約

高度な自律性を備えた車両の機能は、機械学習 (ML) アルゴリズムに依存して環境を理解します。
晴天のシナリオでは顕著なパフォーマンスを示しますが、認識アルゴリズムは悪天候や照明条件に大きく影響されます。
これらの困難を克服するために、ML エンジニアは主に包括的な実世界のデータセットに依存しています。
ただし、運用設計ドメイン (ODD) の重要な領域の実世界のデータ収集は困難であるため、認識トレーニングや安全性検証には合成データが必要になることがよくあります。
したがって、私たちは、セマンティック セグメンテーションとバウンディング ボックス アノテーション (BDD100K データセットから継承) を備えた、BDD100K に基づく 60,000 を超える合成拡張画像の大規模なセットである A-BDD を紹介します。
データセットには、さまざまな強度レベルの雨、霧、曇り、日光/影の拡張データが含まれています。
さらに、FID や CMMD などの特徴ベースの画質メトリクスを利用した新しい戦略を紹介します。これは、ML トレーニングとテストに役立つ拡張データと現実世界のデータを特定するのに役立ちます。
A-BDD で実験を実施することで、データ拡張が悪天候や照明条件下でのパフォーマンスのギャップを埋める上で極めて重要な役割を果たすことができるという証拠を提供します。

要約(オリジナル)

High-autonomy vehicle functions rely on machine learning (ML) algorithms to understand the environment. Despite displaying remarkable performance in fair weather scenarios, perception algorithms are heavily affected by adverse weather and lighting conditions. To overcome these difficulties, ML engineers mainly rely on comprehensive real-world datasets. However, the difficulties in real-world data collection for critical areas of the operational design domain (ODD) often means synthetic data is required for perception training and safety validation. Thus, we present A-BDD, a large set of over 60,000 synthetically augmented images based on BDD100K that are equipped with semantic segmentation and bounding box annotations (inherited from the BDD100K dataset). The dataset contains augmented data for rain, fog, overcast and sunglare/shadow with varying intensity levels. We further introduce novel strategies utilizing feature-based image quality metrics like FID and CMMD, which help identify useful augmented and real-world data for ML training and testing. By conducting experiments on A-BDD, we provide evidence that data augmentations can play a pivotal role in closing performance gaps in adverse weather and lighting conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google