DeformTime: Capturing Variable Dependencies with Deformable Attention for Time Series Forecasting

要約

多変量時系列 (MTS) 予測では、既存の最先端の深層学習アプローチは自己回帰定式化に重点を置き、外生指標内の情報を無視する傾向があります。
この制限に対処するために、入力空間から相関する時間的パターンをキャプチャして予測精度を向上させようとするニューラル ネットワーク アーキテクチャである DeformTime を紹介します。
これは、変形可能なアテンション ブロック (DAB) によって実行される 2 つのコア操作を展開します。それは、異なるタイム ステップからの変数間の依存関係の学習 (変数 DAB)、および前のタイム ステップからのデータの時間依存関係の保存 (時間 DAB) です。
入力データ変換は、DAB を通過する際の変形された一連の情報からの学習を強化するように明示的に設計されています。
私たちは、以前に確立されたベンチマークを使用するだけでなく、より外因性の変数を使用した困難な感染症モデリングタスクを使用して、6 つの MTS データセットに対して広範な実験を実施します。
結果は、DeformTime が大部分の MTS 予測タスクにわたって以前の競合手法と比較して精度を向上させ、平均絶対誤差を平均 10% 削減することを示しています。
特に、パフォーマンスの向上は、より長い予測期間にわたって一貫したままです。

要約(オリジナル)

In multivariate time series (MTS) forecasting, existing state-of-the-art deep learning approaches tend to focus on autoregressive formulations and overlook the information within exogenous indicators. To address this limitation, we present DeformTime, a neural network architecture that attempts to capture correlated temporal patterns from the input space, and hence, improve forecasting accuracy. It deploys two core operations performed by deformable attention blocks (DABs): learning dependencies across variables from different time steps (variable DAB), and preserving temporal dependencies in data from previous time steps (temporal DAB). Input data transformation is explicitly designed to enhance learning from the deformed series of information while passing through a DAB. We conduct extensive experiments on 6 MTS data sets, using previously established benchmarks as well as challenging infectious disease modelling tasks with more exogenous variables. The results demonstrate that DeformTime improves accuracy against previous competitive methods across the vast majority of MTS forecasting tasks, reducing the mean absolute error by 10% on average. Notably, performance gains remain consistent across longer forecasting horizons.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google