Generalizable Memory-driven Transformer for Multivariate Long Sequence Time-series Forecasting

要約

多変量長系列時系列予測 (M-LSTF) は実用的ですが、困難な問題です。
従来のタイマーシリーズ予測タスクとは異なり、M-LSTF タスクは次の 2 つの側面からより困難です。1) M-LSTF モデルは、複数の時間特徴内および複数の時間特徴間の両方で時系列パターンを学習する必要があります。
2) ローリング予測設定では、予測長が増加するにつれて 2 つの連続するトレーニング サンプル間の類似性が増加するため、モデルが過学習になりやすくなります。
この論文では、M-LSTF 問題をターゲットとする一般化可能なメモリ駆動型 Transformer を提案します。
具体的には、まず、複数の時系列特徴を統合することで予測手順を実行するグ​​ローバル レベルのメモリ コンポーネントを提案します。
さらに、一般化可能性を高めるためにモデルをトレーニングするための漸進的な方法を採用し、トレーニング サンプルにベルヌーイ ノイズを徐々に導入します。
複数の分野にわたる 5 つの異なるデータセットに対して広範な実験が実行されました。
実験結果は、私たちのアプローチをさまざまな Transformer ベースのモデルにシームレスに接続して、パフォーマンスを最大約 30% 向上できることを示しています。
特に、これは、私たちの知る限り、M-LSTF タスクに特に焦点を当てた最初の研究です。

要約(オリジナル)

Multivariate long sequence time-series forecasting (M-LSTF) is a practical but challenging problem. Unlike traditional timer-series forecasting tasks, M-LSTF tasks are more challenging from two aspects: 1) M-LSTF models need to learn time-series patterns both within and between multiple time features; 2) Under the rolling forecasting setting, the similarity between two consecutive training samples increases with the increasing prediction length, which makes models more prone to overfitting. In this paper, we propose a generalizable memory-driven Transformer to target M-LSTF problems. Specifically, we first propose a global-level memory component to drive the forecasting procedure by integrating multiple time-series features. In addition, we adopt a progressive fashion to train our model to increase its generalizability, in which we gradually introduce Bernoulli noises to training samples. Extensive experiments have been performed on five different datasets across multiple fields. Experimental results demonstrate that our approach can be seamlessly plugged into varying Transformer-based models to improve their performances up to roughly 30%. Particularly, this is the first work to specifically focus on the M-LSTF tasks to the best of our knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google