Expand and Compress: Exploring Tuning Principles for Continual Spatio-Temporal Graph Forecasting

要約

センシング デバイスの広範な導入により、交通流、大気質、風力エネルギーなどの時空間予測アプリケーションのデータが急増しています。
時空間グラフ ニューラル ネットワークは、さまざまな静的な時空間予測シナリオのモデル化に成功していますが、現実世界の時空間データは通常、ストリーミング方式で受信され、ネットワークは新しいセンサーの設置によって継続的に拡張されます。
したがって、ストリーミング シナリオでの時空間予測は、新しく到着したデータに対するモデルの再トレーニングの非効率性と、長期履歴に対する壊滅的な忘却の悪影響という 2 つの課題に直面しています。
これらの課題に対処するために、私たちは、経験的および理論的分析に基づいた 2 つの基本的な調整原則、つまり拡張と圧縮に従って、新しい即時調整ベースの連続予測方法を提案します。これにより、軽量の調整パラメータに関する前述の問題が効果的に解決されます。
具体的には、ベース時空間グラフ ニューラル ネットワークを連続プロンプト プールと統合し、メモリに保存されたプロンプト (つまり、学習可能なパラメータがほとんどない) を利用し、それらをベース時空間グラフ ニューラル ネットワークと共同で最適化します。
この方法では、モデルが時空間データ ストリームから順次学習して、対応する期間のタスクを達成することが保証されます。
複数の実世界のデータセットに関する広範な実験結果は、有効性、効率性、普遍性などを含む、最先端のベースラインに対する私たちの手法の多面的な優位性を実証しています。

要約(オリジナル)

The widespread deployment of sensing devices leads to a surge in data for spatio-temporal forecasting applications such as traffic flow, air quality, and wind energy. Although spatio-temporal graph neural networks have achieved success in modeling various static spatio-temporal forecasting scenarios, real-world spatio-temporal data are typically received in a streaming manner, and the network continuously expands with the installation of new sensors. Thus, spatio-temporal forecasting in streaming scenarios faces dual challenges: the inefficiency of retraining models over newly arrived data and the detrimental effects of catastrophic forgetting over long-term history. To address these challenges, we propose a novel prompt tuning-based continuous forecasting method, following two fundamental tuning principles guided by empirical and theoretical analysis: expand and compress, which effectively resolve the aforementioned problems with lightweight tuning parameters. Specifically, we integrate the base spatio-temporal graph neural network with a continuous prompt pool, utilizing stored prompts (i.e., few learnable parameters) in memory, and jointly optimize them with the base spatio-temporal graph neural network. This method ensures that the model sequentially learns from the spatio-temporal data stream to accomplish tasks for corresponding periods. Extensive experimental results on multiple real-world datasets demonstrate the multi-faceted superiority of our method over the state-of-the-art baselines, including effectiveness, efficiency, universality, etc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google