TSMixer: An all-MLP Architecture for Time Series Forecasting

要約

実世界の時系列データセットは、多くの場合、複雑なダイナミクスを持つ多変量です。
反復ベースまたは注意ベースのシーケンシャル モデルなど、一般的に使用される大容量アーキテクチャが普及しています。
ただし、最近の研究では、単純な単変量線形モデルがこれらの深い代替モデルよりも優れていることが示されています。
このホワイト ペーパーでは、時系列予測のための線形モデルの機能を調査し、多層パーセプトロン (MLP) を積み重ねて設計されたアーキテクチャである時系列ミキサー (TSMixer) を提示します。
TSMixer は、情報を効率的に抽出するために、時間と特徴の次元に沿ったミキシング操作に基づいています。
一般的なアカデミック ベンチマークでは、実装が簡単な TSMixer は、特定のベンチマークの帰納的バイアスを利用する特殊な最先端モデルに匹敵します。
現実世界の小売データセットである挑戦的で大規模な M5 ベンチマークで、TSMixer は最先端の代替手段と比較して優れたパフォーマンスを発揮します。
私たちの結果は、時系列予測のパフォーマンスを向上させるためにクロス変量情報と補助情報を効率的に利用することの重要性を強調しています。
TSMixer で利用される設計パラダイムは、深層学習ベースの時系列予測の新しい地平を開くことが期待されています。

要約(オリジナル)

Real-world time-series datasets are often multivariate with complex dynamics. Commonly-used high capacity architectures like recurrent- or attention-based sequential models have become popular. However, recent work demonstrates that simple univariate linear models can outperform those deep alternatives. In this paper, we investigate the capabilities of linear models for time-series forecasting and present Time-Series Mixer (TSMixer), an architecture designed by stacking multi-layer perceptrons (MLPs). TSMixer is based on mixing operations along time and feature dimensions to extract information efficiently. On popular academic benchmarks, the simple-to-implement TSMixer is comparable to specialized state-of-the-art models that leverage the inductive biases of specific benchmarks. On the challenging and large scale M5 benchmark, a real-world retail dataset, TSMixer demonstrates superior performance compared to the state-of-the-art alternatives. Our results underline the importance of efficiently utilizing cross-variate and auxiliary information for improving the performance of time series forecasting. The design paradigms utilized in TSMixer are expected to open new horizons for deep learning-based time series forecasting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google