R-LiViT: A LiDAR-Visual-Thermal Dataset Enabling Vulnerable Road User Focused Roadside Perception

要約

自律運転では、閉塞の課題を克服し、脆弱な道路利用者（VRUS）の安全性を高めるためには、路傍認識システムの統合が不可欠です。
LidarおよびVisual（RGB）センサーが一般的に使用されていますが、極端な照明条件でのVRU検出の利点が認められているにもかかわらず、熱イメージングは​​データセットでは過小評価されています。
このホワイトペーパーでは、r-livitを、Lidar、RGB、および熱イメージングを道端の観点から組み合わせた最初のデータセットで、VRUに重点を置いています。
R-Livitは、昼と夜の両方で3つの交差点をキャプチャし、多様なデータセットを確保します。
10,000のLIDARフレームと2,400の時間的および空間的に整列したRGBおよび150を超えるトラフィックシナリオにわたって、熱画像がそれぞれ6と8の注釈付きクラスが含まれており、オブジェクトの検出や追跡などのタスクの包括的なリソースを提供します。
評価結果を再現するためのデータセットとコードは、公開されています。

要約(オリジナル)

In autonomous driving, the integration of roadside perception systems is essential for overcoming occlusion challenges and enhancing the safety of Vulnerable Road Users (VRUs). While LiDAR and visual (RGB) sensors are commonly used, thermal imaging remains underrepresented in datasets, despite its acknowledged advantages for VRU detection in extreme lighting conditions. In this paper, we present R-LiViT, the first dataset to combine LiDAR, RGB, and thermal imaging from a roadside perspective, with a strong focus on VRUs. R-LiViT captures three intersections during both day and night, ensuring a diverse dataset. It includes 10,000 LiDAR frames and 2,400 temporally and spatially aligned RGB and thermal images across over 150 traffic scenarios, with 6 and 8 annotated classes respectively, providing a comprehensive resource for tasks such as object detection and tracking. The dataset and the code for reproducing our evaluation results are made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google