Effectively Modeling Time Series with Simple Discrete State Spaces

要約

時系列モデリングは確立された問題であり、(1) 複雑な依存関係を表現的に表現する、(2) 長い期間を予測する、(3) 長いシーケンスにわたって効率的にトレーニングする方法が必要になることがよくあります。
状態空間モデル (SSM) は時系列の古典的なモデルであり、以前の研究では SSM をディープ ラーニング レイヤーと組み合わせて効率的なシーケンス モデリングを行っていました。
ただし、これらの従来のアプローチには根本的な制限があり、SSM 表現が自己回帰時系列プロセスを表現できないことを証明しています。
そこで、3 つの基準すべてを改善する新しい状態空間時系列アーキテクチャである SpaceTime を紹介します。
表現力については、コンパニオン マトリックス (離散時間プロセスの正規表現) に基づく新しい SSM パラメーター化を提案します。これにより、SpaceTime の SSM レイヤーが望ましい自己回帰プロセスを学習できるようになります。
長期予測のために、コンパニオン SSM の「閉ループ」バリエーションを導入します。これにより、SpaceTime は独自のレイヤー単位の入力を生成することで、多くの将来のタイム ステップを予測できます。
効率的なトレーニングと推論のために、コンパニオン マトリックスを使用したフォワード パスのメモリと計算を削減するアルゴリズムを導入します。
シーケンス長 $\ell$ と状態空間サイズ $d$ を使用すると、$\tilde{O}(d \ell)$ から $\tilde{O}(d + \ell)$ に単純に移行します。
実験では、当社の貢献により、広範かつ多様なベンチマークで最先端の結果が得られ、6/7 ECG および音声時系列分類で最高または次善の AUROC、14/16 インフォーマー予測タスクで最高の MSE が得られました。
さらに、SpaceTime は、(1) 以前のディープ SSM が失敗する AR($p$) プロセスに適合し、(2) 以前の最先端技術よりも長い期間でより正確に予測し、(3) トレーニングをスピードアップします。
実世界の ETTh1 データでは、Transformer と LSTM よりも 73% および 80% の相対的な実時間です。

要約(オリジナル)

Time series modeling is a well-established problem, which often requires that methods (1) expressively represent complicated dependencies, (2) forecast long horizons, and (3) efficiently train over long sequences. State-space models (SSMs) are classical models for time series, and prior works combine SSMs with deep learning layers for efficient sequence modeling. However, we find fundamental limitations with these prior approaches, proving their SSM representations cannot express autoregressive time series processes. We thus introduce SpaceTime, a new state-space time series architecture that improves all three criteria. For expressivity, we propose a new SSM parameterization based on the companion matrix — a canonical representation for discrete-time processes — which enables SpaceTime’s SSM layers to learn desirable autoregressive processes. For long horizon forecasting, we introduce a ‘closed-loop’ variation of the companion SSM, which enables SpaceTime to predict many future time-steps by generating its own layer-wise inputs. For efficient training and inference, we introduce an algorithm that reduces the memory and compute of a forward pass with the companion matrix. With sequence length $\ell$ and state-space size $d$, we go from $\tilde{O}(d \ell)$ na\’ively to $\tilde{O}(d + \ell)$. In experiments, our contributions lead to state-of-the-art results on extensive and diverse benchmarks, with best or second-best AUROC on 6 / 7 ECG and speech time series classification, and best MSE on 14 / 16 Informer forecasting tasks. Furthermore, we find SpaceTime (1) fits AR($p$) processes that prior deep SSMs fail on, (2) forecasts notably more accurately on longer horizons than prior state-of-the-art, and (3) speeds up training on real-world ETTh1 data by 73% and 80% relative wall-clock time over Transformers and LSTMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google