Transformers and Their Roles as Time Series Foundation Models

要約

時系列の基礎モデルとしての変圧器の包括的な分析を提供し、その近似と一般化能力に焦点を当てています。
まず、勾配降下を介して入力単変量時系列に自己回帰モデルに適合する変圧器が存在することを実証します。
次に、任意の数の共変量を処理できる多変量時系列基礎モデルであるMoiraiを分析します。
私たちは、任意の数の共変量を自動的に自動再生モデルに適合させることができることを証明し、その設計と経験的成功に関する洞察を提供します。
一般化のために、データがDobrushinの状態を満たしている場合、事前削除の境界を確立します。
実験は、時系列の基礎モデルとしての変圧器の有効性を強調し、理論的な発見をサポートしています。

要約(オリジナル)

We give a comprehensive analysis of transformers as time series foundation models, focusing on their approximation and generalization capabilities. First, we demonstrate that there exist transformers that fit an autoregressive model on input univariate time series via gradient descent. We then analyze MOIRAI, a multivariate time series foundation model capable of handling an arbitrary number of covariates. We prove that it is capable of automatically fitting autoregressive models with an arbitrary number of covariates, offering insights into its design and empirical success. For generalization, we establish bounds for pretraining when the data satisfies Dobrushin’s condition. Experiments support our theoretical findings, highlighting the efficacy of transformers as time series foundation models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google