StreamLTS: Query-based Temporal-Spatial LiDAR Fusion for Cooperative Object Detection

要約

インテリジェントな交通エージェント間の通信を介した協調的知覚は、自律走行の安全性を向上させる大きな可能性を秘めている。しかし、限られた通信帯域幅、ローカライゼーションエラー、センサデータの非同期キャプチャ時間は、すべて異なるエージェントのデータ融合に困難をもたらす。これまでの研究では、ある程度まで、共有データサイズを縮小し、ローカライゼーションエラーや通信遅延によって引き起こされる空間的特徴のズレを緩和することが試みられてきた。しかしながら、データフュージョン中に1m以上の動的なオブジェクトの位置ズレを引き起こす可能性のある、センサーの打刻時間の非同期性を考慮したものはない。本研究では、LiDARセンサーの非同期時間を考慮したOPV2VとDairV2Xのデータセットを適応し、クエリベースの技術で個々の物体の時間情報をモデル化する効率的な完全スパースフレームワークを構築することで、時間整合COoperative Object Detection (TA-COOD)を提案する。実験の結果、我々の完全スパースフレームワークが、最先端の密なモデルと比較して優れた効率性を持つことが確認された。さらに重要な点として、動的オブジェクトの観測タイムスタンプは、オブジェクトの時間的コンテキストを正確にモデル化し、時間に関連した位置の予測可能性を得るために極めて重要であることが示された。

要約(オリジナル)

Cooperative perception via communication among intelligent traffic agents has great potential to improve the safety of autonomous driving. However, limited communication bandwidth, localization errors and asynchronized capturing time of sensor data, all introduce difficulties to the data fusion of different agents. To some extend, previous works have attempted to reduce the shared data size, mitigate the spatial feature misalignment caused by localization errors and communication delay. However, none of them have considered the asynchronized sensor ticking times, which can lead to dynamic object misplacement of more than one meter during data fusion. In this work, we propose Time-Aligned COoperative Object Detection (TA-COOD), for which we adapt widely used dataset OPV2V and DairV2X with considering asynchronous LiDAR sensor ticking times and build an efficient fully sparse framework with modeling the temporal information of individual objects with query-based techniques. The experiment results confirmed the superior efficiency of our fully sparse framework compared to the state-of-the-art dense models. More importantly, they show that the point-wise observation timestamps of the dynamic objects are crucial for accurate modeling the object temporal context and the predictability of their time-related locations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL