Co-MTP: A Cooperative Trajectory Prediction Framework with Multi-Temporal Fusion for Autonomous Driving

要約

車両からすべての技術（V2X）は、知覚範囲を拡張し、閉塞を通して見るための理想的なパラダイムになりました。
退場する努力は、単一フレームの協同組合の認識に焦点を当てていますが、計画タスクが依然として未定であっても予測タスクを容易にするために、V2Xを使用してフレーム間の時間的キューをキャプチャする方法です。
このホワイトペーパーでは、Co-MTPを紹介します。これは、自律運転の多重融合を備えた一般的な協同軌道予測フレームワークであり、V2Xシステムを活用して、歴史と将来のドメインの両方のエージェント間の相互作用を完全にキャプチャして計画に利益をもたらします。
歴史の領域では、V2Xは単一車両知覚における不完全な履歴軌道を補完することができ、複数のエージェントから歴史の特徴の融合を学び、歴史の相互作用を捉えるために、不均一なグラフ変圧器を設計します。
さらに、予測の目標は、将来の計画をサポートすることです。
したがって、将来のドメインでは、V2Xは周囲のオブジェクトの予測結果を提供でき、さらにグラフ変圧器を拡張して、エゴ計画と他の車両の意図間の将来の相互作用をキャプチャし、特定の計画の下で最終的な将来のシナリオ状態を取得します
アクション。
現実世界のデータセットV2X-SEQのCO-MTPフレームワークを評価し、結果はCO-MTPが最先端のパフォーマンスを達成し、歴史と将来の融合の両方が予測に大きな利益をもたらすことを示しています。

要約(オリジナル)

Vehicle-to-everything technologies (V2X) have become an ideal paradigm to extend the perception range and see through the occlusion. Exiting efforts focus on single-frame cooperative perception, however, how to capture the temporal cue between frames with V2X to facilitate the prediction task even the planning task is still underexplored. In this paper, we introduce the Co-MTP, a general cooperative trajectory prediction framework with multi-temporal fusion for autonomous driving, which leverages the V2X system to fully capture the interaction among agents in both history and future domains to benefit the planning. In the history domain, V2X can complement the incomplete history trajectory in single-vehicle perception, and we design a heterogeneous graph transformer to learn the fusion of the history feature from multiple agents and capture the history interaction. Moreover, the goal of prediction is to support future planning. Thus, in the future domain, V2X can provide the prediction results of surrounding objects, and we further extend the graph transformer to capture the future interaction among the ego planning and the other vehicles’ intentions and obtain the final future scenario state under a certain planning action. We evaluate the Co-MTP framework on the real-world dataset V2X-Seq, and the results show that Co-MTP achieves state-of-the-art performance and that both history and future fusion can greatly benefit prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google