Scalable Spatiotemporal Graph Neural Networks

要約

時空間時系列のニューラル予測は、いくつかの関連するアプリケーション ドメインで研究と産業革新の両方を促進します。
グラフ ニューラル ネットワーク (GNN) は、多くの場合、予測アーキテクチャのコア コンポーネントです。
ただし、ほとんどの時空間 GNN では、計算の複雑さは、シーケンスの長さにグラフ内のリンク数を掛けた 2 次係数にまで拡大するため、これらのモデルを大きなグラフや長い時間シーケンスに適用することが妨げられます。
静的グラフのコンテキストでスケーラビリティを改善する方法が提案されていますが、時空間のケースに専念した研究はほとんどありません。
このギャップを埋めるために、時間的ダイナミクスと空間的ダイナミクスの両方の効率的なエンコーディングを活用するスケーラブルなアーキテクチャを提案します。
特に、ランダム化されたリカレント ニューラル ネットワークを使用して、入力時系列の履歴を、マルチスケールの時間ダイナミクスを含む高次元の状態表現に埋め込みます。
このような表現は、グラフ隣接行列のさまざまなパワーを使用して空間次元に沿って伝播され、時空間特徴の豊富なプールによって特徴付けられるノード埋め込みが生成されます。
結果として得られるノードの埋め込みは、マルチスケールの時空間表現を予測にマッピングすることを学習するフィードフォワード デコーダーに供給される前に、教師なしの方法で効率的に事前計算できます。
次に、依存関係を壊すことなくノードの埋め込みをサンプリングすることにより、トレーニング手順をノードごとに並列化できるため、大規模なネットワークへのスケーラビリティが可能になります。
関連するデータセットに関する経験的な結果は、計算負荷を劇的に削減しながら、私たちのアプローチが最新技術と競争力のある結果を達成することを示しています。

要約(オリジナル)

Neural forecasting of spatiotemporal time series drives both research and industrial innovation in several relevant application domains. Graph neural networks (GNNs) are often the core component of the forecasting architecture. However, in most spatiotemporal GNNs, the computational complexity scales up to a quadratic factor with the length of the sequence times the number of links in the graph, hence hindering the application of these models to large graphs and long temporal sequences. While methods to improve scalability have been proposed in the context of static graphs, few research efforts have been devoted to the spatiotemporal case. To fill this gap, we propose a scalable architecture that exploits an efficient encoding of both temporal and spatial dynamics. In particular, we use a randomized recurrent neural network to embed the history of the input time series into high-dimensional state representations encompassing multi-scale temporal dynamics. Such representations are then propagated along the spatial dimension using different powers of the graph adjacency matrix to generate node embeddings characterized by a rich pool of spatiotemporal features. The resulting node embeddings can be efficiently pre-computed in an unsupervised manner, before being fed to a feed-forward decoder that learns to map the multi-scale spatiotemporal representations to predictions. The training procedure can then be parallelized node-wise by sampling the node embeddings without breaking any dependency, thus enabling scalability to large networks. Empirical results on relevant datasets show that our approach achieves results competitive with the state of the art, while dramatically reducing the computational burden.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google