Real-Time Roadway Obstacle Detection for Electric Scooters Using Deep Learning and Multi-Sensor Fusion

要約

都市部における電動スクーター（eスクーター）の普及は、その小さな車輪、サスペンションの欠如、凹凸のある路面への敏感さなどが主な原因となって、交通事故や負傷の増加と一致している。ディープラーニングに基づく物体検出は、自動車の安全性を向上させるために広く使用されているが、eスクーターの障害物検出への応用は未解明のままである。本研究では、RGBカメラと深度カメラを統合し、リアルタイムの道路障害物検出を強化した、eスクーター用の新しい地上障害物検出システムを紹介する。さらに、慣性計測ユニット（IMU）が線形垂直加速度を計測して路面の振動を特定し、木の枝、マンホールの蓋、甌穴、松ぼっくり、無方向性の亀裂、切り詰められたドームの6つの障害物カテゴリの選択を導く。RGBカメラ、深度カメラ、IMUを含むすべてのセンサーは、インテル RealSense Camera D435iに統合されている。YOLOを搭載したディープラーニング・モデルが道路の危険を検出し、深度データを活用して障害物の接近を推定する。7時間の自然走行データセットで評価した結果、システムは0.827という高い平均精度（mAP）を達成し、優れたリアルタイム性能を実証した。このアプローチは、高度なコンピュータビジョンとデータフュージョンにより、eスクーターの安全性を高める効果的なソリューションを提供します。データセットはhttps://zenodo.org/records/14583718、プロジェクトコードはhttps://github.com/Zeyang-Zheng/Real-Time-Roadway-Obstacle-Detection-for-Electric-Scooters。

要約(オリジナル)

The increasing adoption of electric scooters (e-scooters) in urban areas has coincided with a rise in traffic accidents and injuries, largely due to their small wheels, lack of suspension, and sensitivity to uneven surfaces. While deep learning-based object detection has been widely used to improve automobile safety, its application for e-scooter obstacle detection remains unexplored. This study introduces a novel ground obstacle detection system for e-scooters, integrating an RGB camera, and a depth camera to enhance real-time road hazard detection. Additionally, the Inertial Measurement Unit (IMU) measures linear vertical acceleration to identify surface vibrations, guiding the selection of six obstacle categories: tree branches, manhole covers, potholes, pine cones, non-directional cracks, and truncated domes. All sensors, including the RGB camera, depth camera, and IMU, are integrated within the Intel RealSense Camera D435i. A deep learning model powered by YOLO detects road hazards and utilizes depth data to estimate obstacle proximity. Evaluated on the seven hours of naturalistic riding dataset, the system achieves a high mean average precision (mAP) of 0.827 and demonstrates excellent real-time performance. This approach provides an effective solution to enhance e-scooter safety through advanced computer vision and data fusion. The dataset is accessible at https://zenodo.org/records/14583718, and the project code is hosted on https://github.com/Zeyang-Zheng/Real-Time-Roadway-Obstacle-Detection-for-Electric-Scooters.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL