Graph-based Multi-ODE Neural Networks for Spatio-Temporal Traffic Forecasting

要約

最近、交通分野における時空間予測モデルの開発が急増しています。
しかし、交通ネットワークでは複雑かつ広範な時空間相関が観察されるため、長距離の交通予測は依然として困難な課題です。
現在の研究は主にグラフ構造を持つ道路ネットワークに依存し、グラフ ニューラル ネットワーク (GNN) を使用して表現を学習しますが、このアプローチにはディープ アーキテクチャにおける過剰な平滑化の問題があります。
この問題に取り組むために、最近の手法では、GNN と残差接続またはニューラル常微分方程式 (ODE) の組み合わせが導入されました。
しかし、現在のグラフ ODE モデルは、特徴抽出において 2 つの重要な制限に直面しています。(1) グローバルな時間パターンに偏っており、予期せぬイベントにとって重要なローカル パターンを見落としています。
(2) アーキテクチャ設計に動的セマンティック エッジが欠けています。
この論文では、グラフベースのマルチ ODE ニューラル ネットワーク (GRAM-ODE) と呼ばれる新しいアーキテクチャを提案します。これは、複雑なローカルおよびグローバルの動的時空間のさまざまなビューをキャプチャすることで、より良い表現を学習するために、複数の接続 ODE-GNN モジュールを使用して設計されています。
依存関係。
また、共有重みや発散制約などのいくつかの手法を個別の ODE-GNN モジュールの中間層に追加して、予測タスクに向けた通信をさらに改善します。
6 つの現実世界のデータセットに対して行われた広範な実験では、最先端のベースラインと比較して GRAM-ODE の優れたパフォーマンスと、全体的なパフォーマンスに対するさまざまなコンポーネントの寄与が実証されています。
コードは https://github.com/zbliu98/GRAM-ODE で入手できます。

要約(オリジナル)

There is a recent surge in the development of spatio-temporal forecasting models in the transportation domain. Long-range traffic forecasting, however, remains a challenging task due to the intricate and extensive spatio-temporal correlations observed in traffic networks. Current works primarily rely on road networks with graph structures and learn representations using graph neural networks (GNNs), but this approach suffers from over-smoothing problem in deep architectures. To tackle this problem, recent methods introduced the combination of GNNs with residual connections or neural ordinary differential equations (ODE). However, current graph ODE models face two key limitations in feature extraction: (1) they lean towards global temporal patterns, overlooking local patterns that are important for unexpected events; and (2) they lack dynamic semantic edges in their architectural design. In this paper, we propose a novel architecture called Graph-based Multi-ODE Neural Networks (GRAM-ODE) which is designed with multiple connective ODE-GNN modules to learn better representations by capturing different views of complex local and global dynamic spatio-temporal dependencies. We also add some techniques like shared weights and divergence constraints into the intermediate layers of distinct ODE-GNN modules to further improve their communication towards the forecasting task. Our extensive set of experiments conducted on six real-world datasets demonstrate the superior performance of GRAM-ODE compared with state-of-the-art baselines as well as the contribution of different components to the overall performance. The code is available at https://github.com/zbliu98/GRAM-ODE

arxiv情報

提供元, 利用サービス

arxiv.jp, Google