REHEARSE-3D: A Multi-modal Emulated Rain Dataset for 3D Point Cloud De-raining

要約

センサーの劣化は、自律運転において大きな課題をもたらします。
大雨の間、雨滴からの干渉は、Lidarポイント雲の品質に悪影響を及ぼし、例えば不正確な点測定をもたらします。
これは、自律運転システムが気象を起こさない場合、つまり、そのような変更を識別できない場合、安全性の懸念につながる可能性があります。
この研究では、3Dポイントクラウドのde-rainingでの研究の進歩を促進するために、新しい、大規模なマルチモーダルエミュレートレインデータセット、Rehearse-3dをリリースします。
最も関連性の高い競合他社とは異なり、データセットはいくつかの点でユニークです。
第一に、これは最大のポイントごとの注釈付きデータセットであり、第二に、制御された気象環境で昼間と夜間の両方の条件でログインした4Dレーダーポイントクラウドで濃縮された高解像度のLIDARデータ（LIDAR-256）を持つ唯一のものです。
さらに、リハーサル-3Dには雨特性情報が含まれます。これは、センサーノイズモデリングだけでなく、ポイントレベルでの天候の影響を分析するためにも大きな価値があります。
Rehearse-3Dを活用すると、融合したLidarおよび4Dレーダーポイント雲の雨滴検出と除去をベンチマークします。
当社の包括的な研究では、さまざまな統計モデルと深部学習モデルのパフォーマンスをさらに評価します。
公開されると、データセットモデルとベンチマークモデルは、https：//sporsho.github.io/rehearse3dで公開されます。

要約(オリジナル)

Sensor degradation poses a significant challenge in autonomous driving. During heavy rainfall, the interference from raindrops can adversely affect the quality of LiDAR point clouds, resulting in, for instance, inaccurate point measurements. This, in turn, can potentially lead to safety concerns if autonomous driving systems are not weather-aware, i.e., if they are unable to discern such changes. In this study, we release a new, large-scale, multi-modal emulated rain dataset, REHEARSE-3D, to promote research advancements in 3D point cloud de-raining. Distinct from the most relevant competitors, our dataset is unique in several respects. First, it is the largest point-wise annotated dataset, and second, it is the only one with high-resolution LiDAR data (LiDAR-256) enriched with 4D Radar point clouds logged in both daytime and nighttime conditions in a controlled weather environment. Furthermore, REHEARSE-3D involves rain-characteristic information, which is of significant value not only for sensor noise modeling but also for analyzing the impact of weather at a point level. Leveraging REHEARSE-3D, we benchmark raindrop detection and removal in fused LiDAR and 4D Radar point clouds. Our comprehensive study further evaluates the performance of various statistical and deep-learning models. Upon publication, the dataset and benchmark models will be made publicly available at: https://sporsho.github.io/REHEARSE3D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google