Communication-Efficient Collaborative Perception via Information Filling with Codebook

要約

共同知覚により、各エージェントは他のエージェントとの知覚メッセージの交換を通じてその知覚能力を向上させることができます。
それは本質的に、知覚能力とコミュニケーションコストとの間に根本的なトレードオフをもたらします。
このボトルネック問題に対処するために、私たちの中心的なアイデアは、表現と選択という 2 つの重要な側面から共同メッセージを最適化することです。
提案されたコードブックベースのメッセージ表現により、高次元の特徴マップではなく整数コードの送信が可能になります。
提案された情報充填主導型のメッセージ選択は、ローカル メッセージを最適化して各エージェントの情報需要を集合的に満たし、複数のエージェント間での情報のオーバーフローを防ぎます。
これら 2 つの設計を統合することにより、我々は、新しいコミュニケーション効率の高い共同認識システムである CodeFilling を提案します。これは、認識とコミュニケーションのトレードオフを大幅に改善し、同種および異種の両方のコラボレーション設定を包括します。
現実世界のデータセット DAIR-V2X と新しいシミュレーション データセット OPV2VH+ の両方で CodeFilling を評価します。
結果は、CodeFilling が DAIR-V2X/OPV2VH+ 上で以前の SOTA Where2comm よりも優れたパフォーマンスを示し、通信量が 1,333/1,206 分の 1 であることがわかりました。
私たちのコードは https://github.com/PhyllisH/CodeFilling で入手できます。

要約(オリジナル)

Collaborative perception empowers each agent to improve its perceptual ability through the exchange of perceptual messages with other agents. It inherently results in a fundamental trade-off between perception ability and communication cost. To address this bottleneck issue, our core idea is to optimize the collaborative messages from two key aspects: representation and selection. The proposed codebook-based message representation enables the transmission of integer codes, rather than high-dimensional feature maps. The proposed information-filling-driven message selection optimizes local messages to collectively fill each agent’s information demand, preventing information overflow among multiple agents. By integrating these two designs, we propose CodeFilling, a novel communication-efficient collaborative perception system, which significantly advances the perception-communication trade-off and is inclusive to both homogeneous and heterogeneous collaboration settings. We evaluate CodeFilling in both a real-world dataset, DAIR-V2X, and a new simulation dataset, OPV2VH+. Results show that CodeFilling outperforms previous SOTA Where2comm on DAIR-V2X/OPV2VH+ with 1,333/1,206 times lower communication volume. Our code is available at https://github.com/PhyllisH/CodeFilling.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google