MART: MultiscAle Relational Transformer Networks for Multi-agent Trajectory Prediction

要約

マルチエージェントの軌道予測は、自動運転や周囲環境の理解に不可欠です。
主にグラフ ニューラル ネットワーク、グラフ トランスフォーマー、ハイパーグラフ ニューラル ネットワークに依存するなど、マルチエージェントの軌道予測のための学習ベースのアプローチは、近年、実世界のデータセットで優れたパフォーマンスを実証しています。
ただし、ハイパーグラフ トランスフォーマーに基づく軌道予測方法はまだ検討されていません。
したがって、マルチエージェントの軌道予測のための MultiscAle Relational Transformer (MART) ネットワークを紹介します。
MART は、変圧器機械における個人およびグループの動作を考慮するためのハイパーグラフ変圧器アーキテクチャです。
MART のコア モジュールはエンコーダで、ペアワイズ リレーショナル トランスフォーマ (PRT) とハイパー リレーショナル トランスフォーマ (HRT) で構成されます。
エンコーダは、ハイパーエッジ機能をトランスフォーマ メカニズムに統合する HRT を導入することでリレーショナル トランスフォーマの機能を拡張し、グループごとの関係に焦点を当てるアテンション ウェイトを促進します。
さらに、現実世界の環境における複雑なグループ関係を推測するために設計された適応グループ推定器 (AGE) を提案します。
3 つの現実世界のデータセット (NBA、SDD、ETH-UCY) での広範な実験により、私たちの手法が最先端のパフォーマンスを達成し、NBA データセットで ADE/FDE を 3.9%/11.8% 向上させることが実証されました。
コードは https://github.com/gist-ailab/MART で入手できます。

要約(オリジナル)

Multi-agent trajectory prediction is crucial to autonomous driving and understanding the surrounding environment. Learning-based approaches for multi-agent trajectory prediction, such as primarily relying on graph neural networks, graph transformers, and hypergraph neural networks, have demonstrated outstanding performance on real-world datasets in recent years. However, the hypergraph transformer-based method for trajectory prediction is yet to be explored. Therefore, we present a MultiscAle Relational Transformer (MART) network for multi-agent trajectory prediction. MART is a hypergraph transformer architecture to consider individual and group behaviors in transformer machinery. The core module of MART is the encoder, which comprises a Pair-wise Relational Transformer (PRT) and a Hyper Relational Transformer (HRT). The encoder extends the capabilities of a relational transformer by introducing HRT, which integrates hyperedge features into the transformer mechanism, promoting attention weights to focus on group-wise relations. In addition, we propose an Adaptive Group Estimator (AGE) designed to infer complex group relations in real-world environments. Extensive experiments on three real-world datasets (NBA, SDD, and ETH-UCY) demonstrate that our method achieves state-of-the-art performance, enhancing ADE/FDE by 3.9%/11.8% on the NBA dataset. Code is available at https://github.com/gist-ailab/MART.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google