Velocity Driven Vision: Asynchronous Sensor Fusion Birds Eye View Models for Autonomous Vehicles

要約

異なるセンサー モダリティを融合することは、特にセンサーが非同期である場合、困難な作業になる可能性があります。
キャリブレーション中に長い処理時間や不適切な同期が原因で非同期が発生する可能性があり、安全運転や自車両/マルチエージェントの軌道予測における物体検出の目的で、この以前の情報を引き続き利用する方法が存在する必要があります。
センサーモダリティが異なる時間に、また空間内の異なる位置で情報を捕捉したという事実から問題が生じます。
したがって、それらは空間的にも時間的にも一致していません。
このペーパーでは、さまざまな時間遅延に対して、レーダーおよび LiDAR センサーがカメラ センサーに対して非同期であるという課題を調査します。
空間アラインメントは、レーダー/LiDAR 点群を新しい自我フレーム座標系に変換することにより、BEV 空間に持ち上げられる前に解決されます。
この後初めて、レーダー/LiDAR 点群とリフトされたカメラ機能を連結できます。
時間的アライメントはレーダー データに対してのみ修正され、速度情報を使用して将来のレーダー ポイントの位置を推測する新しい方法が実装されます。
センサーの非同期の問題を解決するための私たちのアプローチは、有望な結果をもたらします。
速度情報によって非同期データセットの IoU が大幅に向上することを実証します。遅延時間 360 ミリ秒 (ms) の場合、IoU は 49.54 から 53.63 に向上します。
さらに、550 ミリ秒の遅延時間では、カメラ + レーダー (C+R) モデルはカメラ + LiDAR (C+L) モデルよりも 0.18 IoU 優れています。
これは、自動運転目的では LiDAR ほど好まれない、無視されがちなレーダー センサー モダリティの利用における進歩です。

要約(オリジナル)

Fusing different sensor modalities can be a difficult task, particularly if they are asynchronous. Asynchronisation may arise due to long processing times or improper synchronisation during calibration, and there must exist a way to still utilise this previous information for the purpose of safe driving, and object detection in ego vehicle/ multi-agent trajectory prediction. Difficulties arise in the fact that the sensor modalities have captured information at different times and also at different positions in space. Therefore, they are not spatially nor temporally aligned. This paper will investigate the challenge of radar and LiDAR sensors being asynchronous relative to the camera sensors, for various time latencies. The spatial alignment will be resolved before lifting into BEV space via the transformation of the radar/LiDAR point clouds into the new ego frame coordinate system. Only after this can we concatenate the radar/LiDAR point cloud and lifted camera features. Temporal alignment will be remedied for radar data only, we will implement a novel method of inferring the future radar point positions using the velocity information. Our approach to resolving the issue of sensor asynchrony yields promising results. We demonstrate velocity information can drastically improve IoU for asynchronous datasets, as for a time latency of 360 milliseconds (ms), IoU improves from 49.54 to 53.63. Additionally, for a time latency of 550ms, the camera+radar (C+R) model outperforms the camera+LiDAR (C+L) model by 0.18 IoU. This is an advancement in utilising the often-neglected radar sensor modality, which is less favoured than LiDAR for autonomous driving purposes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google