Spatial-Temporal Large Language Model for Traffic Prediction

要約

インテリジェント交通システムの重要なコンポーネントである交通予測は、履歴データを使用して特定の場所での将来の交通を予測しようとします。
既存の交通予測モデルは複雑なニューラル ネットワーク構造の開発に重点を置くことが多いものの、その精度はそれに応じて向上していません。
最近、大規模言語モデル (LLM) は時系列分析において優れた機能を示しています。
既存のモデルとは異なり、LLM は基本的な構造を維持しながら、主にパラメーター拡張と広範な事前トレーニングによって進歩します。
この論文では、トラフィック予測のための時空間大規模言語モデル (ST-LLM) を提案します。
具体的には、ST-LLM は各位置のタイムステップをトークンとして再定義し、トークンの空間的位置とグローバルな時間表現を学習するための時空間埋め込みモジュールを組み込みます。
次に、これらの表現が融合されて、各トークンに統一された空間的および時間的情報が提供されます。
さらに、我々は、交通予測のための時空間依存性を捕捉するように設計された、LLM の新しい部分凍結アテンション戦略を提案します。
実際の交通データセットに対する包括的な実験により、ST-LLM が最先端のモデルよりも優れたパフォーマンスを示す証拠が得られます。
特に、ST-LLM は、数ショット予測シナリオとゼロショット予測シナリオの両方で堅牢なパフォーマンスも示します。

要約(オリジナル)

Traffic prediction, a critical component for intelligent transportation systems, endeavors to foresee future traffic at specific locations using historical data. Although existing traffic prediction models often emphasize developing complex neural network structures, their accuracy has not seen improvements accordingly. Recently, Large Language Models (LLMs) have shown outstanding capabilities in time series analysis. Differing from existing models, LLMs progress mainly through parameter expansion and extensive pre-training while maintaining their fundamental structures. In this paper, we propose a Spatial-Temporal Large Language Model (ST-LLM) for traffic prediction. Specifically, ST-LLM redefines the timesteps at each location as tokens and incorporates a spatial-temporal embedding module to learn the spatial location and global temporal representations of tokens. Then these representations are fused to provide each token with unified spatial and temporal information. Furthermore, we propose a novel partially frozen attention strategy of the LLM, which is designed to capture spatial-temporal dependencies for traffic prediction. Comprehensive experiments on real traffic datasets offer evidence that ST-LLM outperforms state-of-the-art models. Notably, the ST-LLM also exhibits robust performance in both few-shot and zero-shot prediction scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google