Pragmatic Communication in Multi-Agent Collaborative Perception

要約

共同知覚により、各エージェントは他のエージェントとメッセージを交換することでその知覚能力を強化できます。
それは本質的に、知覚能力とコミュニケーションコストとの間のトレードオフをもたらします。
以前の作業では、エージェント間で完全なフルフレームの高次元特徴マップを送信するため、かなりの通信コストが発生しました。
コミュニケーションの効率を高めるために、共同作業者の下流タスクに必要な情報のみを送信することを提案します。
この実用的なコミュニケーション戦略は、次の 3 つの重要な側面に焦点を当てています。i) 実用的なメッセージの選択。完全なデータからタスクに不可欠な部分を選択し、空間的および時間的にまばらな特徴ベクトルが得られます。
ii) 実用的なメッセージ表現。タスク適応辞書を使用して高次元の特徴ベクトルの実用的な近似を実現し、整数インデックスとの通信を可能にします。
iii) 有益な協力者を特定し、不必要なコミュニケーションリンクを刈り込む実用的な協力者の選択。
この戦略に従い、我々はまず知覚とコミュニケーションのトレードオフに関する数学的最適化フレームワークを定式化し、次に 2 つの重要なコンポーネントを備えたマルチエージェント協調知覚システムである PragComm を提案します。i) 単一エージェントの検出と追跡、および ii) 実用的なコラボレーションです。
提案された PragComm は、実用的なコミュニケーションを促進し、幅広い通信条件に適応します。
私たちは、現実世界の V2V4Real とシミュレーション データセット OPV2V および V2X-SIM2.0 の両方で、協調的な 3D オブジェクト検出と追跡タスクの両方について PragComm を評価します。
PragComm は、OPV2V での通信量を 32.7,000 倍以上削減し、以前の方法よりも一貫して優れたパフォーマンスを発揮します。
コードは github.com/PhyllisH/PragComm で入手できます。

要約(オリジナル)

Collaborative perception allows each agent to enhance its perceptual abilities by exchanging messages with others. It inherently results in a trade-off between perception ability and communication costs. Previous works transmit complete full-frame high-dimensional feature maps among agents, resulting in substantial communication costs. To promote communication efficiency, we propose only transmitting the information needed for the collaborator’s downstream task. This pragmatic communication strategy focuses on three key aspects: i) pragmatic message selection, which selects task-critical parts from the complete data, resulting in spatially and temporally sparse feature vectors; ii) pragmatic message representation, which achieves pragmatic approximation of high-dimensional feature vectors with a task-adaptive dictionary, enabling communicating with integer indices; iii) pragmatic collaborator selection, which identifies beneficial collaborators, pruning unnecessary communication links. Following this strategy, we first formulate a mathematical optimization framework for the perception-communication trade-off and then propose PragComm, a multi-agent collaborative perception system with two key components: i) single-agent detection and tracking and ii) pragmatic collaboration. The proposed PragComm promotes pragmatic communication and adapts to a wide range of communication conditions. We evaluate PragComm for both collaborative 3D object detection and tracking tasks in both real-world, V2V4Real, and simulation datasets, OPV2V and V2X-SIM2.0. PragComm consistently outperforms previous methods with more than 32.7K times lower communication volume on OPV2V. Code is available at github.com/PhyllisH/PragComm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google