Practical Collaborative Perception: A Framework for Asynchronous and Multi-Agent 3D Object Detection

要約

この論文では、個々の点群ではなく点群シーケンスを処理する能力を拡張することで、LiDAR を使用した単一車両 3D 物体検出モデルを改善します。
このステップでは、点群の連結における影効果の修正に関する以前の作業を拡張して、マルチフレーム検出モデルの検出精度を向上させます。
私たちの拡張には、HD Map の組み込みと Oracle モデルの抽出が含まれています。
次に、V2X (Vehicle-to-Everything) 通信を介したマルチエージェントのコラボレーションを使用して、単一車両の認識のパフォーマンスをさらに向上させます。
我々は、単一車両検出モデルとエージェント間の同期に関する仮定への変更を最小限に抑えながら、従来技術よりも優れた帯域幅とパフォーマンスのトレードオフを実現する、シンプルでありながら効果的なコラボレーション方法を考案します。
V2X-Sim データセットの実験では、私たちのコラボレーション方法が初期コラボレーションの 98% のパフォーマンスを達成しながら、後期コラボレーションと同等の帯域幅使用量 (初期コラボレーションの 0.03%) を消費することが示されています。
コードは https://github.com/quan-dao/practical-collab-perception でリリースされます。

要約(オリジナル)

In this paper, we improve the single-vehicle 3D object detection models using LiDAR by extending their capacity to process point cloud sequences instead of individual point clouds. In this step, we extend our previous work on rectification of the shadow effect in the concatenation of point clouds to boost the detection accuracy of multi-frame detection models. Our extension includes incorporating HD Map and distilling an Oracle model. Next, we further increase the performance of single-vehicle perception using multi-agent collaboration via Vehicle-to-everything (V2X) communication. We devise a simple yet effective collaboration method that achieves better bandwidth-performance tradeoffs than prior arts while minimizing changes made to single-vehicle detection models and assumptions on inter-agent synchronization. Experiments on the V2X-Sim dataset show that our collaboration method achieves 98% performance of the early collaboration while consuming the equivalent amount of bandwidth usage of late collaboration which is 0.03% of early collaboration. The code will be released at https://github.com/quan-dao/practical-collab-perception.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google