TSMixer: An All-MLP Architecture for Time Series Forecasting

要約

現実世界の時系列データセットは、多くの場合、複雑なダイナミクスを伴う多変量です。
この複雑さを捉えるために、リカレントベースまたはアテンションベースの逐次深層学習モデルなどの大容量アーキテクチャが普及してきました。
ただし、最近の研究では、一般的に使用されているいくつかの学術ベンチマークでは、単純な一変量線形モデルがそのような深層学習モデルよりも優れたパフォーマンスを発揮できることが実証されています。
この論文では、それらを拡張して、時系列予測のための線形モデルの機能を調査し、多層パーセプトロン (MLP) を積み重ねることによって設計された新しいアーキテクチャである時系列ミキサー (TSMixer) を紹介します。
TSMixer は、時間と特徴の両方の次元に沿った混合操作に基づいて、情報を効率的に抽出します。
一般的な学術ベンチマークでは、実装が簡単な TSMixer は、特定のベンチマークの帰納的バイアスを活用する特化された最先端のモデルに匹敵します。
現実世界の小売データセットである挑戦的で大規模な M5 ベンチマークでは、TSMixer は最先端の代替手段と比較して優れたパフォーマンスを示します。
私たちの結果は、時系列予測のパフォーマンスを向上させるために、異変量と補助情報を効率的に利用することの重要性を強調しています。
TSMixer の機能を明らかにするためのさまざまな分析を紹介します。
TSMixer で利用される設計パラダイムは、深層学習ベースの時系列予測に新たな地平を開くことが期待されています。
実装は https://github.com/google-research/google-research/tree/master/tsmixer で入手できます。

要約(オリジナル)

Real-world time-series datasets are often multivariate with complex dynamics. To capture this complexity, high capacity architectures like recurrent- or attention-based sequential deep learning models have become popular. However, recent work demonstrates that simple univariate linear models can outperform such deep learning models on several commonly used academic benchmarks. Extending them, in this paper, we investigate the capabilities of linear models for time-series forecasting and present Time-Series Mixer (TSMixer), a novel architecture designed by stacking multi-layer perceptrons (MLPs). TSMixer is based on mixing operations along both the time and feature dimensions to extract information efficiently. On popular academic benchmarks, the simple-to-implement TSMixer is comparable to specialized state-of-the-art models that leverage the inductive biases of specific benchmarks. On the challenging and large scale M5 benchmark, a real-world retail dataset, TSMixer demonstrates superior performance compared to the state-of-the-art alternatives. Our results underline the importance of efficiently utilizing cross-variate and auxiliary information for improving the performance of time series forecasting. We present various analyses to shed light into the capabilities of TSMixer. The design paradigms utilized in TSMixer are expected to open new horizons for deep learning-based time series forecasting. The implementation is available at https://github.com/google-research/google-research/tree/master/tsmixer

arxiv情報

提供元, 利用サービス

arxiv.jp, Google