Leveraging Non-Decimated Wavelet Packet Features and Transformer Models for Time Series Forecasting

要約

この記事では、ウェーブレット解析手法と機械学習手法を組み合わせて単変量時系列予測を行い、3 つの主な貢献に焦点を当てます。
まず、交差検証段階でこれらの数値を選択することにより、異なる消失モーメント数を持つ Daubechies ウェーブレットを非時間予測方法と時間予測方法の両方への入力特徴として使用することを検討します。
次に、これらの特徴を計算するための非デシメート ウェーブレット変換と非デシメート ウェーブレット パケット変換の両方の使用を比較します。後者は、潜在的に有用な係数ベクトルのより大規模なセットを提供します。
ウェーブレット係数は、これらの入力に将来の情報が漏洩しないように、典型的なピラミッド アルゴリズムのシフト バージョンを使用して計算されます。
第三に、時間モデルと非時間モデルの両方、および統計ベースの方法と深層学習ベースの方法の両方を含む、以前の研究よりも大幅に幅広い予測方法のセットでこれらのウェーブレット特徴の使用を評価します。
後者には、最先端のトランスフォーマーベースのニューラル ネットワーク アーキテクチャが含まれています。
私たちの実験では、検討したすべての非時間的手法で高次の遅れ特徴をウェーブレット特徴に置き換えることで、一歩先予測を行う場合に大きな利点があり、長期予測のための時間深層学習ベースのモデルの入力として使用すると、適度な利点が得られることが示唆されています。

要約(オリジナル)

This article combines wavelet analysis techniques with machine learning methods for univariate time series forecasting, focusing on three main contributions. Firstly, we consider the use of Daubechies wavelets with different numbers of vanishing moments as input features to both non-temporal and temporal forecasting methods, by selecting these numbers during the cross-validation phase. Secondly, we compare the use of both the non-decimated wavelet transform and the non-decimated wavelet packet transform for computing these features, the latter providing a much larger set of potentially useful coefficient vectors. The wavelet coefficients are computed using a shifted version of the typical pyramidal algorithm to ensure no leakage of future information into these inputs. Thirdly, we evaluate the use of these wavelet features on a significantly wider set of forecasting methods than previous studies, including both temporal and non-temporal models, and both statistical and deep learning-based methods. The latter include state-of-the-art transformer-based neural network architectures. Our experiments suggest significant benefit in replacing higher-order lagged features with wavelet features across all examined non-temporal methods for one-step-forward forecasting, and modest benefit when used as inputs for temporal deep learning-based models for long-horizon forecasting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google