LSTTN: A Long-Short Term Transformer-based Spatio-temporal Neural Network for Traffic Flow Forecasting

要約

正確な交通予測はインテリジェント交通システムの基本的な問題であり、時空間グラフ ニューラル ネットワーク (STGNN) を通じて重要な情報を含む長距離交通表現を学習することは、現在の交通流予測モデルの基本的な前提となっています。
ただし、構造上の制限により、既存の STGNN は短距離の交通流データのみを利用できます。
したがって、モデルは交通流の複雑な傾向や周期的な特徴を適切に学習できません。
さらに、長い歴史的なトラフィック シリーズから重要な時間情報を抽出し、コンパクトな表現を取得することは困難です。
上記の問題を解決するために、我々は過去のトラフィックフローの長期および短期の特徴を包括的に考慮した新しいLSTN（Long-Short Term Transformer-based Network）フレームワークを提案します。
まず、マスクされたサブシリーズ Transformer を使用して、マスクされていないサブシリーズのごく一部からマスクされたサブシリーズのコンテンツとその時間的コンテキストを事前トレーニング方法で推論し、モデルに長い歴史的シリーズから圧縮されたコンテキストのあるサブシリーズの時間表現を効率的に学習させます。
次に、学習された表現に基づいて、積み重ねられた 1D 拡張畳み込み層を使用して長期トレンドが抽出され、動的グラフ畳み込み層によって周期的特徴が抽出されます。
タイムステップレベルの予測が難しいため、LSTN は短期トレンド抽出機能を採用して、きめの細かい短期の時間的特徴を学習します。
最後に、LSTN は長期トレンド、周期的特徴、短期特徴を融合して予測結果を取得します。
4 つの現実世界のデータセットでの実験によると、60 分先の長期予測において、LSTN モデルはベースライン モデルと比較して最小で 5.63\% の改善、最大で 16.78\% の改善を達成しました。
ソース コードは https://github.com/GeoX-Lab/LSTTN で入手できます。

要約(オリジナル)

Accurate traffic forecasting is a fundamental problem in intelligent transportation systems and learning long-range traffic representations with key information through spatiotemporal graph neural networks (STGNNs) is a basic assumption of current traffic flow prediction models. However, due to structural limitations, existing STGNNs can only utilize short-range traffic flow data; therefore, the models cannot adequately learn the complex trends and periodic features in traffic flow. Besides, it is challenging to extract the key temporal information from the long historical traffic series and obtain a compact representation. To solve the above problems, we propose a novel LSTTN (Long-Short Term Transformer-based Network) framework comprehensively considering the long- and short-term features in historical traffic flow. First, we employ a masked subseries Transformer to infer the content of masked subseries from a small portion of unmasked subseries and their temporal context in a pretraining manner, forcing the model to efficiently learn compressed and contextual subseries temporal representations from long historical series. Then, based on the learned representations, long-term trend is extracted by using stacked 1D dilated convolution layers, and periodic features are extracted by dynamic graph convolution layers. For the difficulties in making time-step level prediction, LSTTN adopts a short-term trend extractor to learn fine-grained short-term temporal features. Finally, LSTTN fuses the long-term trend, periodic features and short-term features to obtain the prediction results. Experiments on four real-world datasets show that in 60-minute-ahead long-term forecasting, the LSTTN model achieves a minimum improvement of 5.63\% and a maximum improvement of 16.78\% over baseline models. The source code is available at https://github.com/GeoX-Lab/LSTTN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google