Gateformer: Advancing Multivariate Time Series Forecasting through Temporal and Variate-Wise Attention with Gated Representations

要約

トランスアーキテクチャを使用した時系列モデリングに最近関心が高まっています。
ただし、変圧器を使用した多変量時系列の予測は、時間的（クロスタイム）とバリエート（交差）依存関係の両方をモデル化する必要があるため、ユニークな課題です。
変圧器ベースのモデルは、シーケンシャルと交差の両方の関係をキャプチャする柔軟性で人気を博していますが、パフォーマンスと効率の両方を最適化しながら、トランスアーキテクチャのコンテキストでこれら2つの情報源を最適に統合する方法は不明です。
トランスアーキテクチャを再利用して、クロスタイムと交差の両方の依存関係の両方を効果的にモデル化します。
私たちのアプローチは、各変数を独立して、クロスタイムダイナミクスをキャプチャするバリエートワイズ表現に埋め込み、次にこれらの学習した埋め込みの注意メカニズムを介して交差依存関係をモデル化することから始まります。
クロスタイムモデルと交差の両方のモデリングフェーズの両方でのゲーティング操作は、情報の流れを調節し、モデルが正確な予測のために最も関連性の高い機能に焦点を合わせることができます。
私たちの方法は、13の実際のデータセットで最先端のパフォーマンスを達成し、他のトランスベースおよびLLMベースの予測者にシームレスに統合でき、元のモデルよりも最大20.7 \％までのパフォーマンスの改善を実現できます。
コードは、このリポジトリで入手できます：https：//github.com/nyuolab/gateformer。

要約(オリジナル)

There has been a recent surge of interest in time series modeling using the Transformer architecture. However, forecasting multivariate time series with Transformer presents a unique challenge as it requires modeling both temporal (cross-time) and variate (cross-variate) dependencies. While Transformer-based models have gained popularity for their flexibility in capturing both sequential and cross-variate relationships, it is unclear how to best integrate these two sources of information in the context of the Transformer architecture while optimizing for both performance and efficiency. We re-purpose the Transformer architecture to effectively model both cross-time and cross-variate dependencies. Our approach begins by embedding each variate independently into a variate-wise representation that captures its cross-time dynamics, and then models cross-variate dependencies through attention mechanisms on these learned embeddings. Gating operations in both cross-time and cross-variate modeling phases regulate information flow, allowing the model to focus on the most relevant features for accurate predictions. Our method achieves state-of-the-art performance across 13 real-world datasets and can be seamlessly integrated into other Transformer-based and LLM-based forecasters, delivering performance improvements up to 20.7\% over original models. Code is available at this repository: https://github.com/nyuolab/Gateformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google