V2X-PC: Vehicle-to-everything Collaborative Perception via Point Cluster

要約

協調的な車両対すべての認識タスクの目的は、隣接する交通エージェント間のメッセージ通信を通じて個々の車両の認識能力を強化することです。
これまでの方法は、帯域幅の制限内で最適なパフォーマンスを達成することに重点を置き、通常は基本的な協調メッセージ単位として BEV マップを採用していました。
ただし、高密度表現によるコラボレーションは、メッセージ パッキング中のオブジェクト特徴の破壊、長距離コラボレーションのための非効率的なメッセージ集約、および暗黙的な構造表現通信によって悩まされることを実証します。
これらの問題に取り組むために、低レベルの構造情報と高レベルの意味情報の組み合わせでシーンをまばらに表現するように設計されたまったく新しいメッセージ ユニット、つまりポイント クラスターを導入します。
ポイント クラスターは、メッセージのパッキング中に本質的にオブジェクト情報を保存しますが、コラボレーション範囲との関連性は低く、明示的な構造モデリングをサポートします。
この表現に基づいて、共同認識のための新しいフレームワーク V2X-PC を提案します。
このフレームワークには、オブジェクトの機能を維持し、クラスター ポイント番号の操作を通じて帯域幅を管理するためのポイント クラスター パッキング (PCP) モジュールが含まれています。
効果的なメッセージ集約に関しては、同じオブジェクトに関連付けられたポイント クラスターを照合およびマージするためのポイント クラスター集約 (PCA) モジュールを提案します。
現実のシナリオで発生する時間遅延とポーズエラーをさらに処理するために、微調整せずにさまざまなノイズレベルに適応できるパラメーターフリーのソリューションを提案します。
広く認識されている 2 つの協調的知覚ベンチマークの実験では、BEV マップに依存する以前の最先端のアプローチと比較して、私たちの方法の優れたパフォーマンスが実証されました。

要約(オリジナル)

The objective of the collaborative vehicle-to-everything perception task is to enhance the individual vehicle’s perception capability through message communication among neighboring traffic agents. Previous methods focus on achieving optimal performance within bandwidth limitations and typically adopt BEV maps as the basic collaborative message units. However, we demonstrate that collaboration with dense representations is plagued by object feature destruction during message packing, inefficient message aggregation for long-range collaboration, and implicit structure representation communication. To tackle these issues, we introduce a brand new message unit, namely point cluster, designed to represent the scene sparsely with a combination of low-level structure information and high-level semantic information. The point cluster inherently preserves object information while packing messages, with weak relevance to the collaboration range, and supports explicit structure modeling. Building upon this representation, we propose a novel framework V2X-PC for collaborative perception. This framework includes a Point Cluster Packing (PCP) module to keep object feature and manage bandwidth through the manipulation of cluster point numbers. As for effective message aggregation, we propose a Point Cluster Aggregation (PCA) module to match and merge point clusters associated with the same object. To further handle time latency and pose errors encountered in real-world scenarios, we propose parameter-free solutions that can adapt to different noisy levels without finetuning. Experiments on two widely recognized collaborative perception benchmarks showcase the superior performance of our method compared to the previous state-of-the-art approaches relying on BEV maps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google