Low-rank Adaptation for Spatio-Temporal Forecasting

要約

時空間予測は、現実世界の動的システムにおいて極めて重要であり、さまざまな場所からの履歴データを使用して将来の変化を予測します。
既存の手法では、データの複雑な依存関係を捕捉するために複雑なニューラル ネットワークの開発が優先されることがよくありますが、その精度は継続的な向上を示していません。
さらに、これらの方法ではノードの異質性も見逃され、カスタマイズされた予測モジュールが多様な地域ノードを効果的に処理することが妨げられます。
この論文での私たちの目標は、新しいモデルを提案することではなく、ST-LoRA と呼ばれる既存の時空間予測モデル用の既製のプラグインとして、新しい低ランク適応フレームワークを提示することです。
ノードレベルの調整。
具体的には、まず、複数のトレーニング可能な低ランク行列で構成されるノード適応低ランク層を調整します。
さらに、多層残留融合スタッキング モジュールを考案し、低ランク アダプターをさまざまなモデルの予測モジュールに注入します。
6 つの現実世界の交通データセットと 6 つの異なるタイプの時空間予測モデルにわたって、私たちのアプローチは、元のモデルのパラメーターとトレーニング時間の増加を 4% 未満に抑えながら、一貫した持続的なパフォーマンス向上を実現します。

要約(オリジナル)

Spatio-temporal forecasting is crucial in real-world dynamic systems, predicting future changes using historical data from diverse locations. Existing methods often prioritize the development of intricate neural networks to capture the complex dependencies of the data, yet their accuracy fails to show sustained improvement. Besides, these methods also overlook node heterogeneity, hindering customized prediction modules from handling diverse regional nodes effectively. In this paper, our goal is not to propose a new model but to present a novel low-rank adaptation framework as an off-the-shelf plugin for existing spatial-temporal prediction models, termed ST-LoRA, which alleviates the aforementioned problems through node-level adjustments. Specifically, we first tailor a node adaptive low-rank layer comprising multiple trainable low-rank matrices. Additionally, we devise a multi-layer residual fusion stacking module, injecting the low-rank adapters into predictor modules of various models. Across six real-world traffic datasets and six different types of spatio-temporal prediction models, our approach minimally increases the parameters and training time of the original models by less than 4%, still achieving consistent and sustained performance enhancement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google