Linear Attention is Enough in Spatial-Temporal Forecasting

要約

時空間予測タスクの最も代表的なシナリオとして、交通予測タスクは、空間次元と時間次元の両方で複雑な相関関係があるため、機械学習コミュニティから多くの注目を集めました。
既存の方法では、時間の経過に伴う道路ネットワークを時空間グラフとして扱い、空間表現と時間表現を独立して扱うことがよくあります。
ただし、これらのアプローチは、道路ネットワークの動的なトポロジーを捉えるのに苦労し、メッセージ パッシング メカニズムや過度の平滑化に関する問題に遭遇し、空間的関係と時間的関係を個別に学習する際の課題に直面します。
これらの制限に対処するために、さまざまなタイム ステップの道路ネットワーク内のノードを独立した時空間トークンとして扱い、それらをバニラ Transformer に入力して複雑な時空間パターンを学習し、SOTA を達成する \textbf{STformer} を設計することを提案します。
二次複雑性を考慮して、Nystr$\ddot{o}$m 法に基づくバリアント \textbf{NSTformer} を導入して、線形複雑さで自己注意を近似しますが、驚くべきことに、前者よりわずかに優れている場合もあります。
交通データセットに関する広範な実験結果は、提案された方法が手頃な計算コストで最先端のパフォーマンスを達成することを実証しています。
私たちのコードは \href{https://github.com/XinyuNing/STformer-and-NSTformer}{https://github.com/XinyuNing/STformer-and-NSTformer} で入手できます。

要約(オリジナル)

As the most representative scenario of spatial-temporal forecasting tasks, the traffic forecasting task attracted numerous attention from machine learning community due to its intricate correlation both in space and time dimension. Existing methods often treat road networks over time as spatial-temporal graphs, addressing spatial and temporal representations independently. However, these approaches struggle to capture the dynamic topology of road networks, encounter issues with message passing mechanisms and over-smoothing, and face challenges in learning spatial and temporal relationships separately. To address these limitations, we propose treating nodes in road networks at different time steps as independent spatial-temporal tokens and feeding them into a vanilla Transformer to learn complex spatial-temporal patterns, design \textbf{STformer} achieving SOTA. Given its quadratic complexity, we introduce a variant \textbf{NSTformer} based on Nystr$\ddot{o}$m method to approximate self-attention with linear complexity but even slightly better than former in a few cases astonishingly. Extensive experimental results on traffic datasets demonstrate that the proposed method achieves state-of-the-art performance at an affordable computational cost. Our code is available at \href{https://github.com/XinyuNing/STformer-and-NSTformer}{https://github.com/XinyuNing/STformer-and-NSTformer}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google