SCFormer: Structured Channel-wise Transformer with Cumulative Historical State for Multivariate Time Series Forecasting

要約

Transformerモデルは、チャネルワイズ自己注意を活用することで、多変量時系列予測において強力な性能を示してきた。しかし、このアプローチには時間的特徴を計算する際の時間的制約がなく、累積履歴系列を効果的に利用できない。これらの限界に対処するため、累積履歴状態を持つ構造化チャネルワイズ変換器（Structured Channel-wise Transformer with Cumulative Historical state：SCFormer）を提案する。SCFormerは、Transformer内の完全連結層だけでなく、クエリ行列、キー行列、値行列を含むすべての線形変換に時間制約を導入する。さらにSCFormerは、累積的な過去の時系列を扱うために高次多項式射影演算子（HiPPO）を採用し、予測時にルックバックウィンドウを超えた情報をモデルに取り込むことを可能にする。複数の実世界データセットでの広範な実験により、SCFormerが主流のベースラインを大幅に上回ることが実証され、時系列予測を強化する上での有効性が強調された。コードは https://github.com/ShiweiGuo1995/SCFormer で公開されている。

要約(オリジナル)

The Transformer model has shown strong performance in multivariate time series forecasting by leveraging channel-wise self-attention. However, this approach lacks temporal constraints when computing temporal features and does not utilize cumulative historical series effectively.To address these limitations, we propose the Structured Channel-wise Transformer with Cumulative Historical state (SCFormer). SCFormer introduces temporal constraints to all linear transformations, including the query, key, and value matrices, as well as the fully connected layers within the Transformer. Additionally, SCFormer employs High-order Polynomial Projection Operators (HiPPO) to deal with cumulative historical time series, allowing the model to incorporate information beyond the look-back window during prediction. Extensive experiments on multiple real-world datasets demonstrate that SCFormer significantly outperforms mainstream baselines, highlighting its effectiveness in enhancing time series forecasting. The code is publicly available at https://github.com/ShiweiGuo1995/SCFormer

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL