CORE: Cooperative Reconstruction for Multi-Agent Perception

要約

この論文では、マルチエージェントの協力的な知覚のための概念的にシンプルで効果的かつコミュニケーション効率の高いモデルである CORE を紹介します。
これは、2 つの重要な洞察に基づいて、協力的な再構築という新しい視点からこのタスクに取り組みます。1) 協力するエージェントが一緒に環境のより全体的な観察を提供する、2) 全体的な観察は、協力に基づいて理想的な観察を再構築する方法を学習するモデルを明示的に導く貴重な監督として機能します。
CORE は、このアイデアを 3 つの主要なコンポーネントで具体化します。1 つは、効率的なブロードキャストのためのよりコンパクトな特徴表現を作成する各エージェント用のコンプレッサー、エージェント間メッセージを集約するための軽量の注意深いコラボレーション コンポーネント、そして集約された特徴表現に基づいて観測を再構築する再構築モジュールです。
この再構築学習のアイデアはタスクに依存せず、より効果的なコラボレーションを促すための明確かつ合理的な監督を提供し、最終的には知覚タスクを促進します。
大規模なマルチエージェント知覚データセットである OPV2V 上の CORE を、3D オブジェクト検出とセマンティック セグメンテーションの 2 つのタスクで検証します。
結果は、モデルが両方のタスクで最先端のパフォーマンスを達成し、通信効率がより高いことを示しています。

要約(オリジナル)

This paper presents CORE, a conceptually simple, effective and communication-efficient model for multi-agent cooperative perception. It addresses the task from a novel perspective of cooperative reconstruction, based on two key insights: 1) cooperating agents together provide a more holistic observation of the environment, and 2) the holistic observation can serve as valuable supervision to explicitly guide the model learning how to reconstruct the ideal observation based on collaboration. CORE instantiates the idea with three major components: a compressor for each agent to create more compact feature representation for efficient broadcasting, a lightweight attentive collaboration component for cross-agent message aggregation, and a reconstruction module to reconstruct the observation based on aggregated feature representations. This learning-to-reconstruct idea is task-agnostic, and offers clear and reasonable supervision to inspire more effective collaboration, eventually promoting perception tasks. We validate CORE on OPV2V, a large-scale multi-agent percetion dataset, in two tasks, i.e., 3D object detection and semantic segmentation. Results demonstrate that the model achieves state-of-the-art performance on both tasks, and is more communication-efficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google