OmniHD-Scenes: A Next-Generation Multimodal Dataset for Autonomous Driving

要約

ディープラーニングの急速な進歩により、自動運転アルゴリズムで使用するための包括的なデータの必要性が高まっています。
効果的なデータ駆動型自動運転ソリューションの開発には、高品質のデータセットが不可欠です。
次世代の自動運転データセットは、広範なデータ範囲、詳細な注釈、多様なシーン表現を特徴とする高度なセンサーからのデータを組み込んだマルチモーダルである必要があります。
このニーズに対処するために、包括的な全方向性の高解像度データを提供する大規模なマルチモーダル データセットである OmniHD-Scenes を紹介します。
OmniHD-Scenes データセットは、128 ビーム LiDAR、6 台のカメラ、6 台の 4D 画像レーダー システムからのデータを組み合わせて、完全な環境認識を実現します。
データセットは 1,501 個のクリップで構成されており、それぞれの長さは約 30 秒で、合計で 450,000 個を超える同期フレームと 585 万個を超える同期センサー データ ポイントになります。
また、新しい 4D アノテーション パイプラインも提案します。
これまでに、514K を超える正確な 3D バウンディング ボックスを使用して 200 のクリップに注釈を付けてきました。
これらのクリップには、静的なシーン要素のセマンティック セグメンテーション アノテーションも含まれています。
さらに、非キー フレームからの情報を効果的に活用する、密な占有グラウンド トゥルースを生成するための新しい自動パイプラインを導入します。
提案されたデータセットに加えて、3D 検出とセマンティック占有予測のための包括的な評価指標、ベースライン モデル、ベンチマークを確立します。
これらのベンチマークでは、サラウンドビュー カメラと 4D 画像レーダーを利用して、自動運転アプリケーション向けの費用対効果の高いセンサー ソリューションを調査しています。
広範な実験により、当社の低コストセンサー構成の有効性と悪条件下での堅牢性が実証されました。
データは https://www.2077ai.com/OmniHD-Scenes で公開されます。

要約(オリジナル)

The rapid advancement of deep learning has intensified the need for comprehensive data for use by autonomous driving algorithms. High-quality datasets are crucial for the development of effective data-driven autonomous driving solutions. Next-generation autonomous driving datasets must be multimodal, incorporating data from advanced sensors that feature extensive data coverage, detailed annotations, and diverse scene representation. To address this need, we present OmniHD-Scenes, a large-scale multimodal dataset that provides comprehensive omnidirectional high-definition data. The OmniHD-Scenes dataset combines data from 128-beam LiDAR, six cameras, and six 4D imaging radar systems to achieve full environmental perception. The dataset comprises 1501 clips, each approximately 30-s long, totaling more than 450K synchronized frames and more than 5.85 million synchronized sensor data points. We also propose a novel 4D annotation pipeline. To date, we have annotated 200 clips with more than 514K precise 3D bounding boxes. These clips also include semantic segmentation annotations for static scene elements. Additionally, we introduce a novel automated pipeline for generation of the dense occupancy ground truth, which effectively leverages information from non-key frames. Alongside the proposed dataset, we establish comprehensive evaluation metrics, baseline models, and benchmarks for 3D detection and semantic occupancy prediction. These benchmarks utilize surround-view cameras and 4D imaging radar to explore cost-effective sensor solutions for autonomous driving applications. Extensive experiments demonstrate the effectiveness of our low-cost sensor configuration and its robustness under adverse conditions. Data will be released at https://www.2077ai.com/OmniHD-Scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google