CMP: Cooperative Motion Prediction with Multi-Agent Communication

要約

自律走行車（AV）の進化とV2X（Vehicle-to-Everything）通信の成熟が合流することで、協調的なコネクテッドカー（CAV）と自動運転車（CAV）の実現が可能になった。本稿では、協調的知覚の上に、協調的運動予測の実現可能性と有効性を探る。我々の手法であるCMPは、LiDAR信号をモデル入力とし、追跡と予測能力を強化する。我々の知る限り、CAVが知覚と予測の両方のモジュールで情報を共有するという統一的な問題に取り組んだのは、我々のフレームワークが初めてである。私たちの設計には、現実的なV2Xの帯域幅の制限と伝送遅延を許容するユニークな機能が組み込まれており、同時にかさばる知覚表現を扱うことができます。また、異なるCAVによって得られた予測を統合し、最終的な予測を生成する予測集約モジュールを提案します。OPV2VとV2V4Realデータセットでの広範な実験とアブレーション研究を通じて、協調的知覚、追跡、および動き予測における我々の手法の有効性を実証する。特に、CMPは、協調なし設定と比較して、より少ない欠落検出で平均予測誤差を16.4%減少させ、最も強いベースラインと比較して12.3%減少させる。我々の研究は、CAVの協調能力における重要な一歩であり、複雑なシナリオにおいて強化された性能を示している。コードはプロジェクトのウェブサイトhttps://cmp-cooperative-prediction.github.io/。

要約(オリジナル)

The confluence of the advancement of Autonomous Vehicles (AVs) and the maturity of Vehicle-to-Everything (V2X) communication has enabled the capability of cooperative connected and automated vehicles (CAVs). Building on top of cooperative perception, this paper explores the feasibility and effectiveness of cooperative motion prediction. Our method, CMP, takes LiDAR signals as model input to enhance tracking and prediction capabilities. Unlike previous work that focuses separately on either cooperative perception or motion prediction, our framework, to the best of our knowledge, is the first to address the unified problem where CAVs share information in both perception and prediction modules. Incorporated into our design is the unique capability to tolerate realistic V2X bandwidth limitations and transmission delays, while dealing with bulky perception representations. We also propose a prediction aggregation module, which unifies the predictions obtained by different CAVs and generates the final prediction. Through extensive experiments and ablation studies on the OPV2V and V2V4Real datasets, we demonstrate the effectiveness of our method in cooperative perception, tracking, and motion prediction. In particular, CMP reduces the average prediction error by 16.4\% with fewer missing detections compared with the no cooperation setting and by 12.3\% compared with the strongest baseline. Our work marks a significant step forward in the cooperative capabilities of CAVs, showcasing enhanced performance in complex scenarios. The code can be found on the project website: https://cmp-cooperative-prediction.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL