Long-term Forecasting with TiDE: Time-series Dense Encoder

要約

最近の研究では、長期時系列予測において、単純な線形モデルが、いくつかのTransformerベースのアプローチを凌駕することが示されている。このことに動機づけられ、我々は、長期時系列予測のために、線形モデルの単純さとスピードを享受しつつ、共変量と非線形依存性を扱うことができる、多層パーセプトロン（MLP）ベースのエンコーダ・デコーダモデル、時系列高密度エンコーダ（TiDE）を提案する。理論的には、我々のモデルの最も単純な線形アナログが、いくつかの仮定の下で、線形力学系（LDS）に対してほぼ最適なエラーレートを達成できることを証明する。経験的には、Transformerに基づく最良のモデルよりも5～10倍高速でありながら、一般的な長期時系列予測ベンチマークにおいて、我々の手法が先行アプローチと同等か、それを上回ることができることを示す。

要約(オリジナル)

Recent work has shown that simple linear models can outperform several Transformer based approaches in long term time-series forecasting. Motivated by this, we propose a Multi-layer Perceptron (MLP) based encoder-decoder model, Time-series Dense Encoder (TiDE), for long-term time-series forecasting that enjoys the simplicity and speed of linear models while also being able to handle covariates and non-linear dependencies. Theoretically, we prove that the simplest linear analogue of our model can achieve near optimal error rate for linear dynamical systems (LDS) under some assumptions. Empirically, we show that our method can match or outperform prior approaches on popular long-term time-series forecasting benchmarks while being 5-10x faster than the best Transformer based model.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL