UniTST: Effectively Modeling Inter-Series and Intra-Series Dependencies for Multivariate Time Series Forecasting

要約

Transformer ベースのモデルは、多変量時系列予測 (MTSF) の強力なツールとして登場しました。
ただし、既存の Transformer モデルでは、MTS データの変量次元と時間次元にわたる複雑な依存関係の両方を捉えることができないことがよくあります。
いくつかの最近のモデルは、2 つの逐次的または並列的な注意メカニズムを通じて、変動依存性と時間依存性を別々に捕捉することが提案されています。
ただし、これらの方法では、シリーズ間およびシリーズ内の複雑な依存関係を直接かつ明示的に学習することはできません。
この作業では、これらの依存関係が通常、現実世界のデータに存在するため、非常に重要であることを最初に示します。
これらの依存関係を直接モデル化するために、平坦化されたパッチ トークンに対する統一されたアテンション メカニズムを含むトランスフォーマー ベースのモデル UniTST を提案します。
さらに、複雑さを軽減し、潜在的に多数の変量に対してモデルを実行可能にするディスパッチャー モジュールを追加します。
私たちが提案するモデルは単純なアーキテクチャを採用していますが、時系列予測のためのいくつかのデータセットに対する広範な実験で示されているように、説得力のあるパフォーマンスを提供します。

要約(オリジナル)

Transformer-based models have emerged as powerful tools for multivariate time series forecasting (MTSF). However, existing Transformer models often fall short of capturing both intricate dependencies across variate and temporal dimensions in MTS data. Some recent models are proposed to separately capture variate and temporal dependencies through either two sequential or parallel attention mechanisms. However, these methods cannot directly and explicitly learn the intricate inter-series and intra-series dependencies. In this work, we first demonstrate that these dependencies are very important as they usually exist in real-world data. To directly model these dependencies, we propose a transformer-based model UniTST containing a unified attention mechanism on the flattened patch tokens. Additionally, we add a dispatcher module which reduces the complexity and makes the model feasible for a potentially large number of variates. Although our proposed model employs a simple architecture, it offers compelling performance as shown in our extensive experiments on several datasets for time series forecasting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google