Where2comm: Communication-Efficient Collaborative Perception via Spatial Confidence Maps

要約

マルチエージェントの共同知覚は、エージェントがコミュニケーションを通じて相互に補完的な情報を共有できるようにすることで、知覚のパフォーマンスを大幅に向上させる可能性があります。
必然的に、知覚性能と通信帯域幅の間に根本的なトレードオフが生じます。
このボトルネックの問題に取り組むために、知覚情報の空間的不均一性を反映する空間信頼マップを提案します。
これにより、エージェントは、空間的にまばらでありながら知覚的に重要な情報のみを共有できるようになり、コミュニケーションの場所に貢献します。
この新しい空間信頼マップに基づいて、コミュニケーション効率の高い共同認識フレームワークである Where2comm を提案します。
Where2comm には 2 つの明確な利点があります。i) 実用的な圧縮を考慮し、より少ないコミュニケーションを使用して、知覚的に重要な領域に焦点を当てることにより、より高い知覚パフォーマンスを達成します。
ii) 通信に関与する空間領域を動的に調整することにより、さまざまな通信帯域幅を処理できます。
Where2comm を評価するために、4 つのデータセット (OPV2V、V2X-Sim、DAIR-V2X、および当社の
オリジナルのCoPerception-UAV。
Where2comm は一貫して以前の方法よりも優れています。
たとえば、$100,000 \times$ を超える通信量の削減を達成し、それでも OPV2V で DiscoNet および V2X-ViT よりも優れています。
コードは https://github.com/MediaBrain-SJTU/where2comm で入手できます。

要約(オリジナル)

Multi-agent collaborative perception could significantly upgrade the perception performance by enabling agents to share complementary information with each other through communication. It inevitably results in a fundamental trade-off between perception performance and communication bandwidth. To tackle this bottleneck issue, we propose a spatial confidence map, which reflects the spatial heterogeneity of perceptual information. It empowers agents to only share spatially sparse, yet perceptually critical information, contributing to where to communicate. Based on this novel spatial confidence map, we propose Where2comm, a communication-efficient collaborative perception framework. Where2comm has two distinct advantages: i) it considers pragmatic compression and uses less communication to achieve higher perception performance by focusing on perceptually critical areas; and ii) it can handle varying communication bandwidth by dynamically adjusting spatial areas involved in communication. To evaluate Where2comm, we consider 3D object detection in both real-world and simulation scenarios with two modalities (camera/LiDAR) and two agent types (cars/drones) on four datasets: OPV2V, V2X-Sim, DAIR-V2X, and our original CoPerception-UAVs. Where2comm consistently outperforms previous methods; for example, it achieves more than $100,000 \times$ lower communication volume and still outperforms DiscoNet and V2X-ViT on OPV2V. Our code is available at https://github.com/MediaBrain-SJTU/where2comm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google