Navigating Spatio-Temporal Heterogeneity: A Graph Transformer Approach for Traffic Forecasting

要約

交通予測は、スマートシティの開発における重要な研究分野として浮上しています。
この問題に対処するために、複雑なアーキテクチャを備えたさまざまなニューラル ネットワークが開発されてきましたが、依然として 2 つの重要な課題に直面しています。 i) 時空間相関をモデリングするためのネットワーク設計の最近の進歩により、パフォーマンス向上の効果が減少し始めています。
ii) さらに、ほとんどのモデルは、交通データに固有の時空間的不均一性を考慮していません。つまり、交通分布は地域ごとに大きく異なり、交通の流れのパターンはさまざまなタイムスロットで変動します。
これらの課題に取り組むために、時空間相関を学習するために交通データに固有の属性情報と構造情報を効果的に統合する時空間グラフ トランスフォーマー (STGormer) と、空間的および時間的不均一性を捉えるための専門家の混合モジュールを導入します。
軸。
具体的には、グラフ構造に基づいて 2 つの単純かつ効果的な空間エンコード方法を設計し、時間位置エンコードをバニラ トランスフォーマーに統合して、時空間トラフィック パターンをキャプチャします。
さらに、エキスパート混合の強化されたフィードフォワード ニューラル ネットワーク (FNN) モジュールは、時空間ゲーティング ネットワークを介して適切なエキスパート レイヤーを個別のパターンに適応的に割り当て、全体的な予測精度をさらに向上させます。
5 つの現実世界のデータセットでの実験により、STGormer が最先端のパフォーマンスを達成していることが実証されました。

要約(オリジナル)

Traffic forecasting has emerged as a crucial research area in the development of smart cities. Although various neural networks with intricate architectures have been developed to address this problem, they still face two key challenges: i) Recent advancements in network designs for modeling spatio-temporal correlations are starting to see diminishing returns in performance enhancements. ii) Additionally, most models do not account for the spatio-temporal heterogeneity inherent in traffic data, i.e., traffic distribution varies significantly across different regions and traffic flow patterns fluctuate across various time slots. To tackle these challenges, we introduce the Spatio-Temporal Graph Transformer (STGormer), which effectively integrates attribute and structure information inherent in traffic data for learning spatio-temporal correlations, and a mixture-of-experts module for capturing heterogeneity along spaital and temporal axes. Specifically, we design two straightforward yet effective spatial encoding methods based on the graph structure and integrate time position encoding into the vanilla transformer to capture spatio-temporal traffic patterns. Additionally, a mixture-of-experts enhanced feedforward neural network (FNN) module adaptively assigns suitable expert layers to distinct patterns via a spatio-temporal gating network, further improving overall prediction accuracy. Experiments on five real-world datasets demonstrate that STGormer achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google