tsGT: Stochastic Time Series Modeling With Transformer

要約

時系列法は、時間的に構造化されたデータを扱う事実上すべての科学分野において基本的に重要である。近年、時系列に特化したアーキテクチャバイアスを持つ決定論的変換モデルが急増している。本論文では、汎用の変換器アーキテクチャ上に構築された確率的時系列モデルであるtsGTを導入することで、異なる方向性を目指す。我々は、よく知られ、理論的に正当化されたローリング・ウィンドウのバックテストと評価プロトコルを使用することに重点を置く。我々は、tsGTがMADとRMSEにおいて最先端のモデルを凌駕し、QLとCRPSにおいて同種の確率的モデルを凌駕することを、一般的に使用される4つのデータセットにおいて示す。これらの結果を、tsGTのデータ分布のモデル化と限界分位値の予測能力に関する詳細な分析で補完する。

要約(オリジナル)

Time series methods are of fundamental importance in virtually any field of science that deals with temporally structured data. Recently, there has been a surge of deterministic transformer models with time series-specific architectural biases. In this paper, we go in a different direction by introducing tsGT, a stochastic time series model built on a general-purpose transformer architecture. We focus on using a well-known and theoretically justified rolling window backtesting and evaluation protocol. We show that tsGT outperforms the state-of-the-art models on MAD and RMSE, and surpasses its stochastic peers on QL and CRPS, on four commonly used datasets. We complement these results with a detailed analysis of tsGT’s ability to model the data distribution and predict marginal quantile values.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL