WEDGE: A multi-weather autonomous driving dataset built from generative vision-language models

要約

オープンロードでは、極端な天候による視界不良など、自律的な知覚に多くの課題が生じます。天候に恵まれたデータセットで学習したモデルは、このような分布外の環境での検知に失敗することが多い。敵対的な状況に強い知覚を支援するために、我々はWEDGE（WEather images by DALL-E GEneration）を紹介する。WEDGEは、16の極端な気象条件の3360枚の画像に16513個のバウンディングボックスを手作業で注釈したもので、気象分類や2次元物体検出のタスクを研究するのに役立つ。我々は、WEDGEを研究の観点から分析し、極端な天候の自律的な知覚のための有効性を検証した。その結果、分類と検出において、53.87%のテスト精度と45.41 mAPというベースライン性能を確立しました。最も重要なことは、WEDGEは最先端の検出器を微調整するために使用することができ、実世界の天候ベンチマーク（DAWNなど）におけるSOTA性能を、トラックのようなよく生成されたクラスに対して4.48AP向上させることができたことです。WEDGEはOpenAIの利用規約に基づいて収集され、CC BY-NC-SA 4.0ライセンスのもとで一般に公開されています。この作品とデータセットのリポジトリは https://infernolia.github.io/WEDGE で公開されています。

要約(オリジナル)

The open road poses many challenges to autonomous perception, including poor visibility from extreme weather conditions. Models trained on good-weather datasets frequently fail at detection in these out-of-distribution settings. To aid adversarial robustness in perception, we introduce WEDGE (WEather images by DALL-E GEneration): a synthetic dataset generated with a vision-language generative model via prompting. WEDGE consists of 3360 images in 16 extreme weather conditions manually annotated with 16513 bounding boxes, supporting research in the tasks of weather classification and 2D object detection. We have analyzed WEDGE from research standpoints, verifying its effectiveness for extreme-weather autonomous perception. We establish baseline performance for classification and detection with 53.87% test accuracy and 45.41 mAP. Most importantly, WEDGE can be used to fine-tune state-of-the-art detectors, improving SOTA performance on real-world weather benchmarks (such as DAWN) by 4.48 AP for well-generated classes like trucks. WEDGE has been collected under OpenAI’s terms of use and is released for public use under the CC BY-NC-SA 4.0 license. The repository for this work and dataset is available at https://infernolia.github.io/WEDGE.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL