MacFormer: Map-Agent Coupled Transformer for Real-time and Robust Trajectory Prediction

要約

エージェントの将来の動作を予測することは、自動運転車ドメインの基本的なタスクです。
正確な予測は周囲のマップを理解することに依存しており、これによりエージェントの動作が大幅に規則化されます。
ただし、既存の方法にはマップの活用に限界があり、過去の軌跡に強く依存するため、予測パフォーマンスと堅牢性が不十分です。
さらに、ネットワーク アーキテクチャが重いため、リアルタイム アプリケーションが妨げられます。
これらの問題に取り組むために、リアルタイムで堅牢な軌道予測を実現する Map-Agent coupled Transformer (MacFormer) を提案します。
私たちのフレームワークは、カップリング マップと参照エクストラクターという名前の 2 つの慎重に設計されたモジュールを介して、マップ制約をネットワークに明示的に組み込みます。
トポロジーとルール制約の学習を強化するために、新しいマルチタスク最適化戦略 (MTOS) が提示されています。
また、より効率的で軽量なネットワークを実現するために、コンテキスト融合における双方向クエリ スキームを考案します。
Argoverse 1、Argoverse 2、および nuScenes の実世界ベンチマークでアプローチを評価しました。すべてのベンチマークで、最小の推論レイテンシと最小のモデル サイズで最先端のパフォーマンスが達成されました。
実験では、私たちのフレームワークが不完全なトラックレット入力に対して回復力があることも実証しています。
さらに、私たちが提案した戦略と組み合わせることで、古典的なモデルがベースラインを上回るパフォーマンスを示すことを示し、私たちのフレームワークの多用途性をさらに検証します。

要約(オリジナル)

Predicting the future behavior of agents is a fundamental task in autonomous vehicle domains. Accurate prediction relies on comprehending the surrounding map, which significantly regularizes agent behaviors. However, existing methods have limitations in exploiting the map and exhibit a strong dependence on historical trajectories, which yield unsatisfactory prediction performance and robustness. Additionally, their heavy network architectures impede real-time applications. To tackle these problems, we propose Map-Agent Coupled Transformer (MacFormer) for real-time and robust trajectory prediction. Our framework explicitly incorporates map constraints into the network via two carefully designed modules named coupled map and reference extractor. A novel multi-task optimization strategy (MTOS) is presented to enhance learning of topology and rule constraints. We also devise bilateral query scheme in context fusion for a more efficient and lightweight network. We evaluated our approach on Argoverse 1, Argoverse 2, and nuScenes real-world benchmarks, where it all achieved state-of-the-art performance with the lowest inference latency and smallest model size. Experiments also demonstrate that our framework is resilient to imperfect tracklet inputs. Furthermore, we show that by combining with our proposed strategies, classical models outperform their baselines, further validating the versatility of our framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google