mmCooper: A Multi-agent Multi-stage Communication-efficient and Collaboration-robust Cooperative Perception Framework

要約

協調的な知覚は、エージェント間の感覚情報の交換を通じて個々の車両の知覚パフォーマンスを大幅に向上させます。
ただし、実際の展開では、帯域幅の制約と情報交換中の避けられない調整エラーによる課題に直面しています。
これらの問題に対処するために、私たちは、新しいマルチエージェント、マルチステージ、通信効率が高く、コラボレーションに強い協力的認識フレームワークである mmCooper を提案します。
当社のフレームワークは、エージェント間で共有する中間段階と後期段階の情報のバランスを動的かつ適応的に調整する多段階コラボレーション戦略を活用し、コミュニケーション効率を維持しながら知覚パフォーマンスを向上させます。
潜在的な位置ずれや校正エラーにもかかわらず堅牢なコラボレーションをサポートするために、当社のフレームワークは、中間段階で堅牢な融合のためにマルチスケールのコンテキスト情報を取得し、受信した検出結果を校正して後期段階での精度を向上させます。
私たちは、現実世界のデータセットとシミュレートされたデータセットに対する広範な実験を通じて mmCooper の有効性を検証します。
この結果は、提案したフレームワークの優位性と各コンポーネントの有効性を示しています。

要約(オリジナル)

Collaborative perception significantly enhances individual vehicle perception performance through the exchange of sensory information among agents. However, real-world deployment faces challenges due to bandwidth constraints and inevitable calibration errors during information exchange. To address these issues, we propose mmCooper, a novel multi-agent, multi-stage, communication-efficient, and collaboration-robust cooperative perception framework. Our framework leverages a multi-stage collaboration strategy that dynamically and adaptively balances intermediate- and late-stage information to share among agents, enhancing perceptual performance while maintaining communication efficiency. To support robust collaboration despite potential misalignments and calibration errors, our framework captures multi-scale contextual information for robust fusion in the intermediate stage and calibrates the received detection results to improve accuracy in the late stage. We validate the effectiveness of mmCooper through extensive experiments on real-world and simulated datasets. The results demonstrate the superiority of our proposed framework and the effectiveness of each component.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google