Power Time Series Forecasting by Pretrained LM

要約

時系列データの多様性とドメイン依存性は、学習を時系列予測に移す際に大きな課題をもたらします。
この研究では、自然言語または画像データで事前にトレーニングされた後、最小限の変更で時系列予測用に微調整された変換モデルを使用することの有効性を調べます。特に、自己注意層とフィードフォワード層を変更することはありません。
残りのブロック。
Frozen Pretrained Transformer (FPT) として知られるこのモデルは、ゼロ ショット、少数ショット、および通常のサンプル サイズの条件下で時系列予測タスクを微調整することによって評価されます。
私たちの結果は、同じモダリティ内の微調整に焦点を当てた以前の研究とは対照的に、自然言語または画像の事前トレーニングがクロスモダリティ時系列予測タスクで同等または最先端のパフォーマンスにつながることを示しています
トレーニング前のデータとして。
さらに、FPT の普遍性と機能の包括的な理論的分析を提供します。
このコードは、https://anonymous.4open.science/r/Pretrained-LM-for-TSForcasting-C561 で公開されています。

要約(オリジナル)

The diversity and domain dependence of time series data pose significant challenges in transferring learning to time series forecasting. In this study, we examine the effectiveness of using a transformer model that has been pre-trained on natural language or image data and then fine-tuned for time series forecasting with minimal modifications, specifically, without altering the self-attention and feedforward layers of the residual blocks. This model, known as the Frozen Pretrained Transformer (FPT), is evaluated through fine-tuning on time series forecasting tasks under Zero-Shot, Few-Shot, and normal sample size conditions. Our results demonstrate that pre-training on natural language or images can lead to a comparable or state-of-the-art performance in cross-modality time series forecasting tasks, in contrast to previous studies that focused on fine-tuning within the same modality as the pre-training data. Additionally, we provide a comprehensive theoretical analysis of the universality and the functionality of the FPT. The code is publicly available at https://anonymous.4open.science/r/Pretrained-LM-for-TSForcasting-C561.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google