Exploring Transformer-Augmented LSTM for Temporal and Spatial Feature Learning in Trajectory Prediction

要約

安全で効率的な自動運転を確保するには、正確な車両軌道予測が不可欠です。
この研究では、車両軌道予測における空間的および時間的特徴学習を強化するために、Transformer ベースのモデルと Long Short-Term Memory (LSTM) ベースの技術の統合を検討します。
ここでは、時間符号化のための LSTM と車両間の複雑な相互作用を捕捉するための Transformer エンコーダを組み合わせたハイブリッド モデルが提案されています。
隣接する車両の空間軌跡の特徴が処理され、グリッド ベースの環境でマスクされた散乱メカニズムを通過し、車両の時間軌跡と結合されます。
この結合された軌跡データは、シーケンシャル LSTM エンコーディングと Transformer ベースのアテンション レイヤーによって学習されます。
提案されたモデルは、STA-LSTM、SA-LSTM、CS-LSTM、NaiveLSTM などの以前の LSTM ベースの手法に対してベンチマークされます。
私たちの結果は、以前のバージョンを上回るパフォーマンスではありませんが、Transformers を LSTM ベースの技術と統合して、解釈可能な軌道予測モデルを構築できる可能性を示しています。
今後の取り組みでは、パフォーマンスをさらに向上させるために、Transformer アプリケーションを使用した代替アーキテクチャを検討します。
この研究は、変圧器ベースのアーキテクチャを活用して軌道予測モデルを改善するための有望な方向性を提供し、より堅牢で解釈可能な車両軌道予測システムへの道を開きます。

要約(オリジナル)

Accurate vehicle trajectory prediction is crucial for ensuring safe and efficient autonomous driving. This work explores the integration of Transformer based model with Long Short-Term Memory (LSTM) based technique to enhance spatial and temporal feature learning in vehicle trajectory prediction. Here, a hybrid model that combines LSTMs for temporal encoding with a Transformer encoder for capturing complex interactions between vehicles is proposed. Spatial trajectory features of the neighboring vehicles are processed and goes through a masked scatter mechanism in a grid based environment, which is then combined with temporal trajectory of the vehicles. This combined trajectory data are learned by sequential LSTM encoding and Transformer based attention layers. The proposed model is benchmarked against predecessor LSTM based methods, including STA-LSTM, SA-LSTM, CS-LSTM, and NaiveLSTM. Our results, while not outperforming it’s predecessor, demonstrate the potential of integrating Transformers with LSTM based technique to build interpretable trajectory prediction model. Future work will explore alternative architectures using Transformer applications to further enhance performance. This study provides a promising direction for improving trajectory prediction models by leveraging transformer based architectures, paving the way for more robust and interpretable vehicle trajectory prediction system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google