Correlated Attention in Transformers for Multivariate Time Series

要約

多変量時系列 (MTS) 分析は、金融、気候科学、ヘルスケアなどの実世界のアプリケーションで広く普及しています。
最先端の Transformer ベースのモデルのバックボーンであるさまざまなセルフ アテンション メカニズムは、時間的な依存関係を効率的に検出しますが、本質的に複雑なデータに起因する、MTS データのさまざまな特徴間の複雑な相互相関をうまく捉えることができません。
実際の動的システム。
この目的を達成するために、私たちは新しい相関アテンション メカニズムを提案します。このメカニズムは、機能ごとの依存関係を効率的に取得するだけでなく、既存のよく知られた Transformer のエンコーダ ブロック内にシームレスに統合して効率を向上させることもできます。
特に、相関アテンションは特徴チャネル全体で動作して、異なるラグ値を持つクエリとキー間の相互共分散行列を計算し、サブシリーズ レベルで表現を選択的に集約します。
このアーキテクチャは、本質的に時系列の自動相関を捕捉しながら、瞬間的な相互相関だけでなく時間差のある相互相関の自動検出と表現学習を容易にします。
普及している Transformer ベースラインと組み合わせると、相関アテンション メカニズムはエンコーダのみのアーキテクチャのより良い代替手段となり、代入、異常検出、分類などの幅広いタスクに適しています。
前述のタスクに関する広範な実験は、基本の Transformer モデルを強化する際の相関注意メカニズムの利点を一貫して強調し、代入、異常検出、分類における最先端の結果を実証します。

要約(オリジナル)

Multivariate time series (MTS) analysis prevails in real-world applications such as finance, climate science and healthcare. The various self-attention mechanisms, the backbone of the state-of-the-art Transformer-based models, efficiently discover the temporal dependencies, yet cannot well capture the intricate cross-correlation between different features of MTS data, which inherently stems from complex dynamical systems in practice. To this end, we propose a novel correlated attention mechanism, which not only efficiently captures feature-wise dependencies, but can also be seamlessly integrated within the encoder blocks of existing well-known Transformers to gain efficiency improvement. In particular, correlated attention operates across feature channels to compute cross-covariance matrices between queries and keys with different lag values, and selectively aggregate representations at the sub-series level. This architecture facilitates automated discovery and representation learning of not only instantaneous but also lagged cross-correlations, while inherently capturing time series auto-correlation. When combined with prevalent Transformer baselines, correlated attention mechanism constitutes a better alternative for encoder-only architectures, which are suitable for a wide range of tasks including imputation, anomaly detection and classification. Extensive experiments on the aforementioned tasks consistently underscore the advantages of correlated attention mechanism in enhancing base Transformer models, and demonstrate our state-of-the-art results in imputation, anomaly detection and classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google