tsGT: Stochastic Time Series Modeling With Transformer

要約

時系列手法は、時間的に構造化されたデータを扱う事実上あらゆる科学分野において基本的に重要です。
最近、時系列固有のアーキテクチャ バイアスを備えた決定論的な変換モデルが急増しています。
このペーパーでは、汎用のトランスフォーマー アーキテクチャに基づいて構築された確率的時系列モデルである tsGT を導入することで、別の方向に進みます。
私たちは、よく知られ理論的に正当化されたローリング ウィンドウのバックテストと評価プロトコルを使用することに重点を置いています。
一般的に使用される 4 つのデータセットにおいて、tsGT が MAD と RMSE で最先端のモデルを上回り、QL と CRPS で確率論的モデルを上回ることを示します。
これらの結果を、データ分布をモデル化し、限界分位値を予測する tsGT の機能を詳細に分析して補完します。

要約(オリジナル)

Time series methods are of fundamental importance in virtually any field of science that deals with temporally structured data. Recently, there has been a surge of deterministic transformer models with time series-specific architectural biases. In this paper, we go in a different direction by introducing tsGT, a stochastic time series model built on a general-purpose transformer architecture. We focus on using a well-known and theoretically justified rolling window backtesting and evaluation protocol. We show that tsGT outperforms the state-of-the-art models on MAD and RMSE, and surpasses its stochastic peers on QL and CRPS, on four commonly used datasets. We complement these results with a detailed analysis of tsGT’s ability to model the data distribution and predict marginal quantile values.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google