ReFocus: Reinforcing Mid-Frequency and Key-Frequency Modeling for Multivariate Time Series Forecasting

要約

最近の進歩により、ディープラーニングモデルに周波数ベースの技術が徐々に組み込まれ、時系列分析タスクの精度と効率の顕著な向上につながっている。しかし、実世界の時系列には、低周波数領域にエネルギーが集中する一方で、中間周波数帯域は無視できるほど小さいという中間周波数スペクトラムギャップが存在し、重要な周波数情報を抽出する既存の深層学習モデルの能力を妨げている。さらに、異なる時系列が区別できない周波数パターンを共有する、多変量時系列における共有キー周波数は、既存の文献ではほとんど利用されていない。本研究では、畳み込みと残差学習に基づく、中間周波数帯域の重要性を強調するための新しいモジュール、適応的中間周波数エネルギー最適化器を導入する。また、共有キー周波数を捕捉するためのエネルギーベースのキー周波数ピッキングブロックを提案し、より少ないパラメータで優れた系列間モデリング性能を達成する。Key-Frequencyのモデリングをさらに強化するために、他のチャンネルからのスペクトル情報を各チャンネルにランダムに導入する、新しいKey-Frequency Enhanced Training戦略を採用する。我々のアプローチは、困難なTraffic、ECL、Solarベンチマークにおいて多変量時系列予測を高度化し、従来のSOTA iTransformerと比較してMSEを4%、6%、5%削減した。コードはGitHubリポジトリhttps://github.com/Levi-Ackman/ReFocus。

要約(オリジナル)

Recent advancements have progressively incorporated frequency-based techniques into deep learning models, leading to notable improvements in accuracy and efficiency for time series analysis tasks. However, the Mid-Frequency Spectrum Gap in the real-world time series, where the energy is concentrated at the low-frequency region while the middle-frequency band is negligible, hinders the ability of existing deep learning models to extract the crucial frequency information. Additionally, the shared Key-Frequency in multivariate time series, where different time series share indistinguishable frequency patterns, is rarely exploited by existing literature. This work introduces a novel module, Adaptive Mid-Frequency Energy Optimizer, based on convolution and residual learning, to emphasize the significance of mid-frequency bands. We also propose an Energy-based Key-Frequency Picking Block to capture shared Key-Frequency, which achieves superior inter-series modeling performance with fewer parameters. A novel Key-Frequency Enhanced Training strategy is employed to further enhance Key-Frequency modeling, where spectral information from other channels is randomly introduced into each channel. Our approach advanced multivariate time series forecasting on the challenging Traffic, ECL, and Solar benchmarks, reducing MSE by 4%, 6%, and 5% compared to the previous SOTA iTransformer. Code is available at this GitHub Repository: https://github.com/Levi-Ackman/ReFocus.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL