Dateformer: Time-modeling Transformer for Longer-term Series Forecasting

要約

トランスフォーマーは、長期シリーズ予測において印象的な強みを発揮しています。
既存の予測研究は、主に過去の短いサブシリーズ (ルックバック ウィンドウ) を将来のシリーズ (予測ウィンドウ) にマッピングすることに焦点を当てていました。
トレーニングが完了すると、より長いトレーニング データセットの時系列は破棄されます。
モデルは、推論のためにルックバック ウィンドウの情報に頼ることしかできません。これは、モデルがグローバルな視点から時系列を分析することを妨げます。
また、Transformers で使用されるこれらのウィンドウは、各タイム ステップをモデル化する必要があるため、非常に狭いです。
この点単位の処理スタイルでは、ウィンドウを広げるとモデルの容量が急速に使い果たされます。
これは、きめの細かい時系列の場合、情報の入力と予測出力のボトルネックにつながり、長期的な系列予測に致命的です。
この障壁を克服するために、時系列予測に Transformer を利用するまったく新しい方法論を提案します。
具体的には、時系列を日ごとにパッチに分割し、ポイント単位の処理をパッチ単位の処理に変更します。これにより、Transformers の情報の入出力が大幅に強化されます。
モデルが推論中にトレーニング セット全体のグローバル情報をさらに活用できるようにするために、情報を抽出して時間表現に保存し、主要なモデリング エンティティとして系列を時間表現に置き換えます。
当社が設計した時間モデリング トランスフォーマー — Dateformer は、7 つの実世界のデータセットで 33.6\% の相対的な改善で最先端の精度を実現し、最大予測範囲を半年に拡張します。

要約(オリジナル)

Transformers have demonstrated impressive strength in long-term series forecasting. Existing prediction research mostly focused on mapping past short sub-series (lookback window) to future series (forecast window). The longer training dataset time series will be discarded, once training is completed. Models can merely rely on lookback window information for inference, which impedes models from analyzing time series from a global perspective. And these windows used by Transformers are quite narrow because they must model each time-step therein. Under this point-wise processing style, broadening windows will rapidly exhaust their model capacity. This, for fine-grained time series, leads to a bottleneck in information input and prediction output, which is mortal to long-term series forecasting. To overcome the barrier, we propose a brand-new methodology to utilize Transformer for time series forecasting. Specifically, we split time series into patches by day and reform point-wise to patch-wise processing, which considerably enhances the information input and output of Transformers. To further help models leverage the whole training set’s global information during inference, we distill the information, store it in time representations, and replace series with time representations as the main modeling entities. Our designed time-modeling Transformer — Dateformer yields state-of-the-art accuracy on 7 real-world datasets with a 33.6\% relative improvement and extends the maximum forecast range to half-year.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google