A Survey on Time-Series Pre-Trained Models

要約

時系列マイニング（TSM）は、実用的なアプリケーションにおいて大きな可能性を示すため、重要な研究分野である。大量のラベル付きデータに依存する深層学習モデルは、TSMにうまく利用されてきた。しかし、十分にラベル付けされた大規模なデータセットの構築は、データアノテーションのコストのために困難である。近年、コンピュータビジョンや自然言語処理における顕著な性能により、時系列領域において事前学習済みモデルが徐々に注目を集めている。本サーベイでは、時系列事前学習モデル（TS-PTM）の包括的なレビューを行い、TS-PTMの理解、適用、研究の指針とする。具体的には、まずTSMで採用されている典型的なディープラーニングモデルを簡単に紹介する。次に、TS-PTMを事前学習手法別に概観する。我々が探求する主なカテゴリーには、教師あり、教師なし、自己教師ありのTS-PTMが含まれる。さらに、27の手法、434のデータセット、679の転移学習シナリオを含む広範な実験を行い、転移学習戦略、Transformerベースのモデル、代表的なTS-PTMの長所と短所を分析する。最後に、TS-PTMの今後の研究の方向性を指摘する。

要約(オリジナル)

Time-Series Mining (TSM) is an important research area since it shows great potential in practical applications. Deep learning models that rely on massive labeled data have been utilized for TSM successfully. However, constructing a large-scale well-labeled dataset is difficult due to data annotation costs. Recently, pre-trained models have gradually attracted attention in the time series domain due to their remarkable performance in computer vision and natural language processing. In this survey, we provide a comprehensive review of Time-Series Pre-Trained Models (TS-PTMs), aiming to guide the understanding, applying, and studying TS-PTMs. Specifically, we first briefly introduce the typical deep learning models employed in TSM. Then, we give an overview of TS-PTMs according to the pre-training techniques. The main categories we explore include supervised, unsupervised, and self-supervised TS-PTMs. Further, extensive experiments involving 27 methods, 434 datasets, and 679 transfer learning scenarios are conducted to analyze the advantages and disadvantages of transfer learning strategies, Transformer-based models, and representative TS-PTMs. Finally, we point out some potential directions of TS-PTMs for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL