WaterScenes: A Multi-Task 4D Radar-Camera Fusion Dataset and Benchmark for Autonomous Driving on Water Surfaces

要約

水面での自動運転は、海上監視、生存者の救助、環境監視、水路図作成、廃棄物の清掃など、危険で時間のかかる任務を遂行する上で重要な役割を果たします。
この研究では、水面での自動運転のための初のマルチタスク 4D レーダーとカメラの融合データセットである WaterScenes を紹介します。
4D レーダーと単眼カメラを装備した当社の無人水上車両 (USV) は、色、形状、テクスチャ、距離、速度、方位角、高度などの物体関連情報を識別するための全天候型ソリューションを提供します。
水面上の典型的な静的物体と動的物体に焦点を当て、カメラ画像とレーダー点群をそれぞれピクセルレベルと点レベルでラベル付けします。
オブジェクト検出、インスタンス セグメンテーション、セマンティック セグメンテーションなどの基本的な認識タスクに加えて、自由空間セグメンテーションやウォーターライン セグメンテーションのアノテーションも提供します。
マルチタスクおよびマルチモーダルのデータを活用して、レーダーとカメラの単一モダリティ、および融合モダリティに関する多数の実験を実施します。
結果は、4D レーダーとカメラの融合により、特に照明条件や気象条件が悪い場合に、水面上の知覚の堅牢性を大幅に向上できることを示しています。
WaterScenes データセットは https://waterscenes.github.io で公開されています。

要約(オリジナル)

Autonomous driving on water surfaces plays an essential role in executing hazardous and time-consuming missions, such as maritime surveillance, survivors rescue, environmental monitoring, hydrography mapping and waste cleaning. This work presents WaterScenes, the first multi-task 4D radar-camera fusion dataset for autonomous driving on water surfaces. Equipped with a 4D radar and a monocular camera, our Unmanned Surface Vehicle (USV) proffers all-weather solutions for discerning object-related information, including color, shape, texture, range, velocity, azimuth, and elevation. Focusing on typical static and dynamic objects on water surfaces, we label the camera images and radar point clouds at pixel-level and point-level, respectively. In addition to basic perception tasks, such as object detection, instance segmentation and semantic segmentation, we also provide annotations for free-space segmentation and waterline segmentation. Leveraging the multi-task and multi-modal data, we conduct numerous experiments on the single modality of radar and camera, as well as the fused modalities. Results demonstrate that 4D radar-camera fusion can considerably enhance the robustness of perception on water surfaces, especially in adverse lighting and weather conditions. WaterScenes dataset is public on https://waterscenes.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google