Spatiotemporal-Linear: Towards Universal Multivariate Time Series Forecasting

要約

複雑な多変量時系列予測 (TSF) の分野では、トランスフォーマー ベースの設計からリカレント ニューラル ネットワークに至るまで、一般的な手法は複雑な深層学習アーキテクチャに依存することがよくあります。
しかし、最近の発見は、単純な線形モデルが多様なデータセット上の洗練された構造を超える可能性があることを示唆しています。
これらのモデルは、観測値を将来の複数のタイム ステップに直接マッピングするため、反復的なマルチステップ予測における誤差の蓄積を最小限に抑えます。
しかし、これらのモデルはデータ内に空間的および時間的情報を組み込んでいません。これは、洞察力に富んだ予測を推進するパターンと依存関係を捉えるために重要です。
この見落としは、特に特定のシーケンス長やデータセット条件下でパフォーマンスのボトルネックを引き起こし、汎用的な適用を妨げることがよくあります。
これに応えて、時空間線形 (STL) フレームワークを導入します。
STL は、時間埋め込みバイパスと空間情報バイパスをシームレスに統合して、リニアベースのアーキテクチャを強化します。
これらの追加のルートは、特に観測量が限られており、依存関係をキャプチャする単純な線形層の能力が低下する場合に、データに対するより堅牢で洗練された回帰を提供します。
経験的証拠は、さまざまな観測および予測期間とデータセットにわたって Linear ベンチマークと Transformer ベンチマークの両方を上回る STL の優れた能力を強調しています。
このような堅牢性により、交通軌跡や希少疾患の進行予測など (ただしこれらに限定されない) さまざまな用途にわたってその適合性が強調されます。
この講演を通じて、私たちは深層学習技術を使用した多変量時系列予測におけるより一般的なパラダイムとなる STL の特徴的な能力を検証するだけでなく、普遍的な応用のためにデータ不足の予測シナリオに取り組む必要性も強調します。
コードが利用可能になります。

要約(オリジナル)

Within the field of complicated multivariate time series forecasting (TSF), popular techniques frequently rely on intricate deep learning architectures, ranging from transformer-based designs to recurrent neural networks. However, recent findings suggest that simple Linear models can surpass sophisticated constructs on diverse datasets. These models directly map observation to multiple future time steps, thereby minimizing error accumulation in iterative multi-step prediction. Yet, these models fail to incorporate spatial and temporal information within the data, which is critical for capturing patterns and dependencies that drive insightful predictions. This oversight often leads to performance bottlenecks, especially under specific sequence lengths and dataset conditions, preventing their universal application. In response, we introduce the SpatioTemporal-Linear (STL) framework. STL seamlessly integrates time-embedded and spatially-informed bypasses to augment the Linear-based architecture. These extra routes offer a more robust and refined regression to the data, particularly when the amount of observation is limited and the capacity of simple linear layers to capture dependencies declines. Empirical evidence highlights STL’s prowess, outpacing both Linear and Transformer benchmarks across varied observation and prediction durations and datasets. Such robustness accentuates its suitability across a spectrum of applications, including but not limited to, traffic trajectory and rare disease progression forecasting. Through this discourse, we not only validate the STL’s distinctive capacities to become a more general paradigm in multivariate time-series prediction using deep-learning techniques but also stress the need to tackle data-scarce prediction scenarios for universal application. Code will be made available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google