Frequency-domain MLPs are More Effective Learners in Time Series Forecasting

要約

時系列予測は、金融、交通、エネルギー、医療分野などのさまざまな産業で重要な役割を果たしてきました。
既存の文献では、RNN、GNN、またはトランスフォーマーに基づいて多くの洗練されたアーキテクチャが設計されていますが、単純な構造、低複雑さ、および優れたパフォーマンスを備えた多層パーセプトロン (MLP) に基づく別の種類のアプローチが提案されています。
ただし、MLP ベースの予測手法のほとんどは、ポイントごとのマッピングと情報のボトルネックに悩まされており、予測パフォーマンスを大きく妨げます。
この問題を克服するために、私たちは時系列予測のために周波数領域で MLP を適用するという新しい方向性を模索します。
私たちは、周波数領域の MLP の学習パターンを調査し、予測に役立つ 2 つの固有の特性を発見します。(i) グローバル ビュー: 周波数スペクトルにより、MLP は信号の完全なビューを所有し、グローバルな依存関係をより簡単に学習できます。(ii) エネルギー コンパクション: 周波数
-ドメイン MLP は、コンパクトな信号エネルギーを持つ周波数成分の小さな重要な部分に集中します。
次に、時系列予測用の周波数領域 MLP に基づいて構築されたシンプルかつ効果的なアーキテクチャである FreTS を提案します。
FreTS には主に 2 つの段階が含まれます。(i) 時間領域信号を周波数領域の複素数に変換するドメイン変換。
(ii) 周波数学習。周波数成分の実数部と虚数部を学習するために再設計された MLP を実行します。
シリーズ間スケールとシリーズ内スケールの両方で動作する上記のステージは、チャネルごとおよび時間ごとの依存関係の学習にさらに貢献します。
13 の実際のベンチマーク (短期予測用の 7 つのベンチマークと長期予測用の 6 つのベンチマークを含む) に関する広範な実験により、最先端の手法に対する当社の一貫した優位性が実証されました。

要約(オリジナル)

Time series forecasting has played the key role in different industrial, including finance, traffic, energy, and healthcare domains. While existing literatures have designed many sophisticated architectures based on RNNs, GNNs, or Transformers, another kind of approaches based on multi-layer perceptrons (MLPs) are proposed with simple structure, low complexity, and {superior performance}. However, most MLP-based forecasting methods suffer from the point-wise mappings and information bottleneck, which largely hinders the forecasting performance. To overcome this problem, we explore a novel direction of applying MLPs in the frequency domain for time series forecasting. We investigate the learned patterns of frequency-domain MLPs and discover their two inherent characteristic benefiting forecasting, (i) global view: frequency spectrum makes MLPs own a complete view for signals and learn global dependencies more easily, and (ii) energy compaction: frequency-domain MLPs concentrate on smaller key part of frequency components with compact signal energy. Then, we propose FreTS, a simple yet effective architecture built upon Frequency-domain MLPs for Time Series forecasting. FreTS mainly involves two stages, (i) Domain Conversion, that transforms time-domain signals into complex numbers of frequency domain; (ii) Frequency Learning, that performs our redesigned MLPs for the learning of real and imaginary part of frequency components. The above stages operated on both inter-series and intra-series scales further contribute to channel-wise and time-wise dependency learning. Extensive experiments on 13 real-world benchmarks (including 7 benchmarks for short-term forecasting and 6 benchmarks for long-term forecasting) demonstrate our consistent superiority over state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google