Enhancing Foundation Models for Time Series Forecasting via Wavelet-based Tokenization

要約

時系列予測の基礎モデルを最適に開発する方法は、依然として重要な未解決の問題です。
この取り組みではトークン化が重要な考慮事項です。実数値の順次入力に効果的な離散ボキャブラリーとは何でしょうか?
この問題に対処するために、モデルが時間的に局所的な周波数空間で複雑な表現を直接学習できるようにするウェーブレット ベースのトークナイザーである WaveToken を開発しました。
私たちの方法では、最初に入力時系列をスケーリングおよび分解し、次にウェーブレット係数をしきい値および量子化し、最後に予測期間の係数を予測するために自己回帰モデルを事前トレーニングします。
ウェーブレットは、入力内の粗い構造と細かい構造を分解することにより、学習を簡素化する時系列予測用の雄弁でコンパクトな言語を提供します。
ドメイン内設定とゼロショット設定の両方の 42 データセットを含む包括的なベンチマークの経験的結果は、WaveToken が次のことを示しています。 i) はるかに少ない語彙 (1024 トークン) を使用しながら、最近提案された予測基礎モデルよりも高い精度を提供し、
各データセットで特別にトレーニングされた最新の深層学習モデルと同等かそれ以上。
ii) 優れた一般化機能を示し、3 つの補完的なメトリクスについてすべてのデータセットにわたって最高の平均ランクを達成します。
さらに、私たちの方法は、トレンド、まばらなスパイク、時間の経過とともに変化するさまざまな周波数の非定常時系列など、他の最近の事前トレーニング済みモデルでは困難な、実際に関連する複雑な時間パターンを簡単にキャプチャできることを示します。

要約(オリジナル)

How to best develop foundational models for time series forecasting remains an important open question. Tokenization is a crucial consideration in this effort: what is an effective discrete vocabulary for a real-valued sequential input? To address this question, we develop WaveToken, a wavelet-based tokenizer that allows models to learn complex representations directly in the space of time-localized frequencies. Our method first scales and decomposes the input time series, then thresholds and quantizes the wavelet coefficients, and finally pre-trains an autoregressive model to forecast coefficients for the forecast horizon. By decomposing coarse and fine structures in the inputs, wavelets provide an eloquent and compact language for time series forecasting that simplifies learning. Empirical results on a comprehensive benchmark, including 42 datasets for both in-domain and zero-shot settings, show that WaveToken: i) provides better accuracy than recently proposed foundation models for forecasting while using a much smaller vocabulary (1024 tokens), and performs on par or better than modern deep learning models trained specifically on each dataset; and ii) exhibits superior generalization capabilities, achieving the best average rank across all datasets for three complementary metrics. In addition, we show that our method can easily capture complex temporal patterns of practical relevance that are challenging for other recent pre-trained models, including trends, sparse spikes, and non-stationary time series with varying frequencies evolving over time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google