Dense Road Surface Grip Map Prediction from Multimodal Image Data

要約

滑りやすい路面気象条件が多くの地域で蔓延しており、定期的に交通の危険が生じています。
それでも、自動運転車が道路上の滑りやすい走行状況をどのように検出して安全に走行できるかに関する研究はほとんど行われていない。
この研究では、後処理されたマルチモーダル センサー データに基づいて、車両前方領域から密なグリップ マップを予測する方法を提案します。
私たちは畳み込みニューラル ネットワークをトレーニングし、光学道路気象センサーからの弱く監視されたグラウンド トゥルースに基づいて、融合 RGB カメラ、サーマル カメラ、LiDAR 反射率画像からピクセルごとのグリップ値を予測しました。
実験では、作成されたグリップ マップがグラウンド トゥルース測定値と、道路上の積雪地域などの局所的な気象条件の両方に従うため、使用したデータ モダリティから高い精度で密なグリップ値を予測できることが示されました。
RGB カメラまたは LiDAR 反射率モダリティのみを使用したモデルは、グリップ予測精度に関して良好なベースライン結果を提供しましたが、RGB カメラ、サーマル カメラ、LiDAR モダリティを融合したモデルを使用すると、グリップ予測が大幅に向上しました。

要約(オリジナル)

Slippery road weather conditions are prevalent in many regions and cause a regular risk for traffic. Still, there has been less research on how autonomous vehicles could detect slippery driving conditions on the road to drive safely. In this work, we propose a method to predict a dense grip map from the area in front of the car, based on postprocessed multimodal sensor data. We trained a convolutional neural network to predict pixelwise grip values from fused RGB camera, thermal camera, and LiDAR reflectance images, based on weakly supervised ground truth from an optical road weather sensor. The experiments show that it is possible to predict dense grip values with good accuracy from the used data modalities as the produced grip map follows both ground truth measurements and local weather conditions, such as snowy areas on the road. The model using only the RGB camera or LiDAR reflectance modality provided good baseline results for grip prediction accuracy while using models fusing the RGB camera, thermal camera, and LiDAR modalities improved the grip predictions significantly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google