Language Model Empowered Spatio-Temporal Forecasting via Physics-Aware Reprogramming

要約

時空間予測は、交通計画、エネルギー管理、気候モニタリングなど、多くの実世界アプリケーションにおいて極めて重要である。本研究では、特にデータが乏しいシナリオにおいて、時空間予測をより効果的に行うために、事前学習済み言語モデル（PLM）の推論能力と汎化能力を活用することを目的とする。しかし、最近の研究では、主にテキストデータに対して訓練されたPLMは、数値時系列における複雑な相関関係をモデル化するタスクにしばしば躓き、それによって時空間データを理解する上での有効性が制限されることが明らかになっている。このギャップを埋めるために、我々はRePSTを提案する。RePSTは、時空間予測用に調整された物理認識PLMリプログラミング・フレームワークである。具体的には、まず、空間的に相関する時系列を解釈可能なサブコンポーネントに適応的に分離する物理認識デコンポーザーを提案し、これによってPLMが分割統治戦略によって高度な時空間ダイナミクスを理解することを容易にする。さらに、時空間系列を離散的な表現に投影するために、拡張された時空間語彙空間を導入する選択的離散再プログラミングスキームを提案する。このスキームは、リプログラミング中の情報損失を最小化し、PLMによって導出される表現を豊かにする。実世界のデータセットを用いた広範な実験により、提案するRePSTは、特にデータが乏しいシナリオにおいて、12種類の最新のベースライン手法を凌駕することが示され、時空間予測におけるPLMの有効性と優れた汎化能力が強調された。

要約(オリジナル)

Spatio-temporal forecasting is pivotal in numerous real-world applications, including transportation planning, energy management, and climate monitoring. In this work, we aim to harness the reasoning and generalization abilities of Pre-trained Language Models (PLMs) for more effective spatio-temporal forecasting, particularly in data-scarce scenarios. However, recent studies uncover that PLMs, which are primarily trained on textual data, often falter when tasked with modeling the intricate correlations in numerical time series, thereby limiting their effectiveness in comprehending spatio-temporal data. To bridge the gap, we propose RePST, a physics-aware PLM reprogramming framework tailored for spatio-temporal forecasting. Specifically, we first propose a physics-aware decomposer that adaptively disentangles spatially correlated time series into interpretable sub-components, which facilitates PLM to understand sophisticated spatio-temporal dynamics via a divide-and-conquer strategy. Moreover, we propose a selective discrete reprogramming scheme, which introduces an expanded spatio-temporal vocabulary space to project spatio-temporal series into discrete representations. This scheme minimizes the information loss during reprogramming and enriches the representations derived by PLMs. Extensive experiments on real-world datasets show that the proposed RePST outperforms twelve state-of-the-art baseline methods, particularly in data-scarce scenarios, highlighting the effectiveness and superior generalization capabilities of PLMs for spatio-temporal forecasting.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL