Long-term Forecasting with TiDE: Time-series Dense Encoder

要約

タイトル：TiDEを用いた長期予測：時系列密集エンコーダー
要約：最近の研究では、長期時系列予測において、シンプルな線形モデルがTransformerベースのアプローチよりも優れていることが示されています。これに着目し、我々は、共変量や非線形の依存関係を扱うことができるのに加えて、線形モデルのシンプルで高速な性質も保持している、多層パーセプトロン（MLP）ベースのエンコーダー・デコーダーモデル、タイムシリーズ密集エンコーダー（TiDE）を提案します。理論的には、我々のモデルの最も単純な線形アナログは、いくつかの仮定の下で線形動的システム（LDS）に対して近接する誤差率を実現することを証明しています。実験的には、我々の手法が人気のある長期時系列予測ベンチマークで前のアプローチを追い抜くことができ、最高のTransformerベースモデルよりも5〜10倍高速であることを示しています。

要点：
– 最近の研究では、長期時系列予測において、シンプルな線形モデルがTransformerベースのアプローチよりも優れていることが示されている。
– そこで、我々は、線形モデルのシンプルで高速な性質を保持しつつ、共変量や非線形の依存関係を扱うことができる、MLPベースのエンコーダー・デコーダーモデル、タイムシリーズ密集エンコーダー（TiDE）を提案する。
– 理論的には、我々のモデルの最も単純な線形アナログは、いくつかの仮定の下でLDSに対して近接する誤差率を実現することを証明している。
– 実験的には、我々の手法が人気のある長期時系列予測ベンチマークで前のアプローチを追い抜くことができ、最高のTransformerベースモデルよりも5〜10倍高速であることを示している。

要約(オリジナル)

Recent work has shown that simple linear models can outperform several Transformer based approaches in long term time-series forecasting. Motivated by this, we propose a Multi-layer Perceptron (MLP) based encoder-decoder model, Time-series Dense Encoder (TiDE), for long-term time-series forecasting that enjoys the simplicity and speed of linear models while also being able to handle covariates and non-linear dependencies. Theoretically, we prove that the simplest linear analogue of our model can achieve near optimal error rate for linear dynamical systems (LDS) under some assumptions. Empirically, we show that our method can match or outperform prior approaches on popular long-term time-series forecasting benchmarks while being 5-10x faster than the best Transformer based model.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI