StreamLTS: Query-based Temporal-Spatial LiDAR Fusion for Cooperative Object Detection

要約

インテリジェント交通エージェント間の通信を介した協力的な認識は、自動運転の安全性を向上させる大きな可能性を秘めています。
ただし、限られた通信帯域幅、位置特定エラー、およびセンサー データの非同期キャプチャ時間はすべて、異なるエージェントのデータ融合に困難をもたらします。
これまでの研究では、ある程度、共有データ サイズを削減し、位置特定エラーや通信遅延によって引き起こされる空間特徴の不整合を軽減することが試みられてきました。
しかし、それらのどれも、データ融合中に 1 メートルを超える動的なオブジェクトの位置ずれにつながる可能性がある非同期センサーのカチカチ時間を考慮していません。
この研究では、Time-Aligned COoperative Object Detection (TA-COOD) を提案します。これには、非同期 LiDAR センサーのティック時間を考慮して広く使用されているデータセット OPV2V と DairV2X を適応させ、個々のオブジェクトの時間情報をモデル化して効率的な完全にスパースなフレームワークを構築します。
クエリベースの手法を使用します。
実験結果により、最先端の密モデルと比較して、完全に疎なフレームワークの効率が優れていることが確認されました。
さらに重要なことは、動的オブジェクトの点単位の観測タイムスタンプが、オブジェクトの時間的コンテキストとそれらの時間関連の位置の予測可能性を正確にモデル化するために重要であることを示していることです。
公式コードは \url{https://github.com/YuanYunshuang/CoSense3D} で入手できます。

要約(オリジナル)

Cooperative perception via communication among intelligent traffic agents has great potential to improve the safety of autonomous driving. However, limited communication bandwidth, localization errors and asynchronized capturing time of sensor data, all introduce difficulties to the data fusion of different agents. To some extend, previous works have attempted to reduce the shared data size, mitigate the spatial feature misalignment caused by localization errors and communication delay. However, none of them have considered the asynchronized sensor ticking times, which can lead to dynamic object misplacement of more than one meter during data fusion. In this work, we propose Time-Aligned COoperative Object Detection (TA-COOD), for which we adapt widely used dataset OPV2V and DairV2X with considering asynchronous LiDAR sensor ticking times and build an efficient fully sparse framework with modeling the temporal information of individual objects with query-based techniques. The experiment results confirmed the superior efficiency of our fully sparse framework compared to the state-of-the-art dense models. More importantly, they show that the point-wise observation timestamps of the dynamic objects are crucial for accurate modeling the object temporal context and the predictability of their time-related locations. The official code is available at \url{https://github.com/YuanYunshuang/CoSense3D}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google