STG-Mamba: Spatial-Temporal Graph Learning via Selective State Space Model

要約

時空間グラフ (STG) データは、動的、異種、非定常として特徴付けられ、時空間グラフ学習の継続的な課題につながります。
ここ数年、STG システムに時間の経過とともに存在する固有の特徴をモデル化する重要性を無視して、STG ネットワークの個々のノード間の関係を模倣することだけに焦点を当てたさまざまな GNN ベースの手法が提案されてきました。
対照的に、最新の選択的状態空間モデル (SSSM) は、STG ネットワークをシステムとして扱い、時間次元にわたる STG システムの動的状態の進化を細心の注意を払って調査する新しいアプローチを提示します。
この研究では、STG ネットワークをシステムとして扱い、グラフ選択状態空間ブロック (GS3B) を採用することにより、STG 学習に強力な選択状態空間モデルを活用する最初の探求として、時空間グラフ マンバ (STG-Mamba) を紹介します。
STG ネットワークの動的な進化を正確に特徴付けることができます。
STG-Mamba は、効率的なシーケンシャル データ モデリングのために、GS3B を基本モジュールとして採用するエンコーダ デコーダ アーキテクチャとして定式化されています。
さらに、SSSM の設定下で STG データをモデル化する GNN の能力を強化するために、適応的なグラフ構造のアップグレードのためのカルマン フィルター グラフ ニューラル ネットワーク (KFGN) を提案します。
KFGN は、選択的状態空間進化のコンテキストにスムーズに適合し、同時に線形の複雑さを維持します。
3 つのベンチマーク STG 予測データセットに対して広範な実証研究が実施され、STG-Mamba のパフォーマンスの優位性と計算効率が実証されています。
STG 予測パフォーマンスの点で既存の最先端の手法を上回るだけでなく、FLOP の計算コストとテスト推論時間を削減する上で、大規模なグラフ ネットワークの計算ボトルネックを効果的に軽減します。

要約(オリジナル)

Spatial-Temporal Graph (STG) data is characterized as dynamic, heterogenous, and non-stationary, leading to the continuous challenge of spatial-temporal graph learning. In the past few years, various GNN-based methods have been proposed to solely focus on mimicking the relationships among node individuals of the STG network, ignoring the significance of modeling the intrinsic features that exist in STG system over time. In contrast, modern Selective State Space Models (SSSMs) present a new approach which treat STG Network as a system, and meticulously explore the STG system’s dynamic state evolution across temporal dimension. In this work, we introduce Spatial-Temporal Graph Mamba (STG-Mamba) as the first exploration of leveraging the powerful selective state space models for STG learning by treating STG Network as a system, and employing the Graph Selective State Space Block (GS3B) to precisely characterize the dynamic evolution of STG networks. STG-Mamba is formulated as an Encoder-Decoder architecture, which takes GS3B as the basic module, for efficient sequential data modeling. Furthermore, to strengthen GNN’s ability of modeling STG data under the setting of SSSMs, we propose Kalman Filtering Graph Neural Networks (KFGN) for adaptive graph structure upgrading. KFGN smoothly fits in the context of selective state space evolution, and at the same time keeps linear complexity. Extensive empirical studies are conducted on three benchmark STG forecasting datasets, demonstrating the performance superiority and computational efficiency of STG-Mamba. It not only surpasses existing state-of-the-art methods in terms of STG forecasting performance, but also effectively alleviate the computational bottleneck of large-scale graph networks in reducing the computational cost of FLOPs and test inference time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google