Spatio-Temporal Domain Awareness for Multi-Agent Collaborative Perception

要約

車両間通信の潜在的なアプリケーションとしてのマルチエージェントの協調知覚は、単一エージェントの知覚よりも自動運転車の知覚パフォーマンスを大幅に向上させる可能性があります。
しかし、この新たな研究において実用的な情報共有を達成するには、いくつかの課題が残っています。
この論文では、路上エージェント全体の時空間認識特性をエンドツーエンド方式で集約する、新しい協調知覚フレームワークである SCOPE を提案します。
具体的には、SCOPE には 3 つの明確な長所があります。i) 時間的コンテキストの効果的な意味論的手がかりを考慮して、ターゲット エージェントの現在の表現を強化します。
ii) 異種エージェントからの知覚的に重要な空間情報を集約し、マルチスケールの特徴の相互作用によって位置特定エラーを克服します。
iii) 適応融合パラダイムによる相補的な寄与に基づいて、標的エージェントのマルチソース表現を統合します。
SCOPE を徹底的に評価するために、3 つのデータセットに対する共同 3D オブジェクト検出タスクの現実世界とシミュレーションの両方のシナリオを検討します。
広範な実験により、私たちのアプローチの優位性と提案されたコンポーネントの必要性が実証されました。

要約(オリジナル)

Multi-agent collaborative perception as a potential application for vehicle-to-everything communication could significantly improve the perception performance of autonomous vehicles over single-agent perception. However, several challenges remain in achieving pragmatic information sharing in this emerging research. In this paper, we propose SCOPE, a novel collaborative perception framework that aggregates the spatio-temporal awareness characteristics across on-road agents in an end-to-end manner. Specifically, SCOPE has three distinct strengths: i) it considers effective semantic cues of the temporal context to enhance current representations of the target agent; ii) it aggregates perceptually critical spatial information from heterogeneous agents and overcomes localization errors via multi-scale feature interactions; iii) it integrates multi-source representations of the target agent based on their complementary contributions by an adaptive fusion paradigm. To thoroughly evaluate SCOPE, we consider both real-world and simulated scenarios of collaborative 3D object detection tasks on three datasets. Extensive experiments demonstrate the superiority of our approach and the necessity of the proposed components.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google