LLM4TS: Aligning Pre-Trained LLMs as Data-Efficient Time-Series Forecasters

要約

多変量時系列予測は、経済計画や気象予測など様々な領域で不可欠である。ディープ・トレーン・フロムスクラッチ・モデルは効果的な性能を示しているが、大量のデータを必要とするため、実世界での適用には限界がある。最近では、限られた非言語データセットに対して、事前に訓練された大規模言語モデル（LLM）が研究されている。しかし、時系列データにLLMを組み込むと、時系列データと言語データの構成が異なるため適応に限界があり、マルチスケールの時間情報を処理できないという課題がある。これらの課題に取り組むため、我々は、事前に訓練されたLLMを用いた時系列予測のためのフレームワークであるLLM4TSを提案する。LLM4TSは、時系列データのニュアンスにLLMを合わせるための時系列アライメントステージと、時系列予測タスクのために特別に設計された予測ファインチューニングステージという、2段階のファインチューニング戦略から構成される。さらに、我々のフレームワークは、マルチスケールの時系列データを事前訓練されたLLMに統合する新しい2レベル集約法を特徴としており、時系列固有の情報を解釈する能力を高めている。7つの時系列予測データセットの実験において、LLM4TSはフルショットシナリオにおいて、ゼロから訓練されたものを含む既存の最先端手法よりも優れており、また、少数ショットシナリオにおいても平均6.84%のMSEの改善を達成している。さらに、異なる自己教師あり学習アプローチと比較した評価では、予測シナリオにおける表現学習によるLLM4TSの有効性が強調された。

要約(オリジナル)

Multivariate time-series forecasting is vital in various domains, e.g., economic planning and weather prediction. Deep train-from-scratch models have exhibited effective performance yet require large amounts of data, which limits real-world applicability. Recently, researchers have explored pre-trained Large Language Models (LLMs) for limited non-linguistic datasets. However, incorporating LLMs with time-series data presents challenges of limited adaptation due to different compositions between time-series and linguistic data, and the inability to process multi-scale temporal information. To tackle these challenges, we propose LLM4TS, a framework for time-series forecasting with pre-trained LLMs. LLM4TS consists of a two-stage fine-tuning strategy: the time-series alignment stage to align LLMs with the nuances of time-series data, and the forecasting fine-tuning stage, which is specifically designed for time-series forecasting tasks. Furthermore, our framework features a novel two-level aggregation method that integrates multi-scale temporal data within pre-trained LLMs, enhancing their ability to interpret time-specific information. In experiments across 7 time-series forecasting datasets, LLM4TS is superior to existing state-of-the-art methods, including those trained from scratch, in full-shot scenarios, and also achieves an average improvement of 6.84% in MSE in few-shot scenarios. In addition, evaluations compared with different self-supervised learning approaches highlight LLM4TS’s effectiveness with representation learning in forecasting scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL