Fredformer: Frequency Debiased Transformer for Time Series Forecasting

要約

Transformerモデルは、時系列予測において優れた性能を示してきた。しかしながら、いくつかの複雑なシナリオでは、データ中の低周波の特徴を学習し、高周波の特徴を見落とす傾向があり、周波数バイアスが見られる。このバイアスは、モデルが重要な高頻度データの特徴を正確に捉えることを妨げる。本論文では、このバイアスを理解するために実証的な分析を行い、周波数バイアスは、モデルがより高いエネルギーを持つ周波数特徴に不釣り合いに集中することから生じることを発見した。我々の分析に基づき、この偏りを定式化し、異なる周波数帯域に渡って特徴を均等に学習することにより、周波数偏りを緩和するように設計されたTransformerベースのフレームワークであるFredformerを提案する。このアプローチにより、正確な予測に重要な低振幅の特徴をモデルが見落とすのを防ぐことができる。広範な実験により、我々の提案するアプローチの有効性が示され、実世界の様々な時系列データセットにおいて、他のベースラインを凌駕することができる。さらに、注目行列近似を用いたFredformerの軽量版を紹介し、同等の性能を達成しながら、より少ないパラメータと低い計算コストで実現する。コードはhttps://github.com/chenzRG/Fredformer。

要約(オリジナル)

The Transformer model has shown leading performance in time series forecasting. Nevertheless, in some complex scenarios, it tends to learn low-frequency features in the data and overlook high-frequency features, showing a frequency bias. This bias prevents the model from accurately capturing important high-frequency data features. In this paper, we undertook empirical analyses to understand this bias and discovered that frequency bias results from the model disproportionately focusing on frequency features with higher energy. Based on our analysis, we formulate this bias and propose Fredformer, a Transformer-based framework designed to mitigate frequency bias by learning features equally across different frequency bands. This approach prevents the model from overlooking lower amplitude features important for accurate forecasting. Extensive experiments show the effectiveness of our proposed approach, which can outperform other baselines in different real-world time-series datasets. Furthermore, we introduce a lightweight variant of the Fredformer with an attention matrix approximation, which achieves comparable performance but with much fewer parameters and lower computation costs. The code is available at: https://github.com/chenzRG/Fredformer

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL