FoundTS: Comprehensive and Unified Benchmarking of Foundation Models for Time Series Forecasting

要約

時系列予測 (TSF) は、金融、気象サービス、エネルギー管理など、多くの分野で重要な機能です。
最近 TSF 手法が登場していますが、その多くはドメイン固有のデータ収集とモデルのトレーニングを必要とし、新しいドメインでの汎化パフォーマンスの低下に苦労しています。
Foundation モデルは、この制限を克服することを目的としています。
大規模な言語データや時系列データで事前トレーニングされているため、新しいデータやまだ見たことのないデータに対して有望な推論機能を発揮します。
これにより、新しい TSF 基盤モデルの急増に拍車がかかりました。
このようなモデルを徹底的かつ公平に評価・比較できるようにするための新しいベンチマークFoundTSを提案します。
FoundTS は、大規模な言語モデルに基づくモデルや時系列で事前トレーニングされたモデルなど、さまざまな TSF 基礎モデルをカバーしています。
次に、FoundTS は、ゼロショット、少数ショット、フルショットなどのさまざまな予測戦略をサポートしているため、より徹底的な評価が容易になります。
最後に、FoundTS は、データセットの分割、読み込み、正規化、少数ショット サンプリングなどの評価プロセスを標準化するパイプラインを提供し、それによって公平な評価を促進します。
これに基づいて、さまざまなドメインからのさまざまな統計的特性を持つ広範囲のデータセットに対する TSF 基礎モデルの広範な評価について報告します。
具体的には、既存の基礎モデルの長所と短所、および固有の制限を特定し、将来のモデル設計の方向性を特定します。
コードとデータセットは https://anonymous.4open.science/r/FoundTS-C2B0 で公開しています。

要約(オリジナル)

Time Series Forecasting (TSF) is key functionality in numerous fields, including in finance, weather services, and energy management. While TSF methods are emerging these days, many of them require domain-specific data collection and model training and struggle with poor generalization performance on new domains. Foundation models aim to overcome this limitation. Pre-trained on large-scale language or time series data, they exhibit promising inferencing capabilities in new or unseen data. This has spurred a surge in new TSF foundation models. We propose a new benchmark, FoundTS, to enable thorough and fair evaluation and comparison of such models. FoundTS covers a variety of TSF foundation models, including those based on large language models and those pretrained on time series. Next, FoundTS supports different forecasting strategies, including zero-shot, few-shot, and full-shot, thereby facilitating more thorough evaluations. Finally, FoundTS offers a pipeline that standardizes evaluation processes such as dataset splitting, loading, normalization, and few-shot sampling, thereby facilitating fair evaluations. Building on this, we report on an extensive evaluation of TSF foundation models on a broad range of datasets from diverse domains and with different statistical characteristics. Specifically, we identify pros and cons and inherent limitations of existing foundation models, and we identify directions for future model design. We make our code and datasets available at https://anonymous.4open.science/r/FoundTS-C2B0.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google