LLM4TS: Aligning Pre-Trained LLMs as Data-Efficient Time-Series Forecasters

要約

多変量の時系列予測は、経済計画や気象予測など、さまざまなドメインで不可欠です。
Deep Train-From-Scratchモデルは効果的なパフォーマンスを示していますが、大量のデータが必要であり、現実世界の適用性を制限しています。
最近、研究者は、限られた非言語データセットを効果的に処理するために、事前に訓練された大手言語モデル（LLM）の表現学習転送可能性を活用しました。
ただし、LLMSを時系列データに組み込むと、時系列と言語データの間の異なる構成とマルチスケールの時間情報を処理できないため、限られた適応の課題があります。
これらの課題に取り組むために、事前に訓練されたLLMを使用した時系列予測のフレームワークであるLLM4TSを提案します。
LLM4TSは、2段階の微調整戦略で構成されています。これは、LLMSを時系列データのニュアンスに合わせるための時系列アライメント段階、およびダウンストリームタイムシリーズの予測タスクの予測微調整段階です。
さらに、私たちのフレームワークは、事前に訓練されたLLM内にマルチスケールの時間データを統合する新しい2レベルの集約方法を備えており、時間固有の情報を解釈する能力を高めています。
7つのタイムシリーズ予測データセットの実験では、LLM4TSはフルショットシナリオで訓練されたスクラッチから訓練されたモデルと比較して、既存の最先端の方法よりも優れており、少ないショットシナリオでも最高ランクを達成しています。
さらに、さまざまな監視されていない表現学習アプローチと比較した評価は、LLM4TSの予測学習における表現学習を強調しています。
アブレーション研究は、各コンポーネントのLLM4TSへの貢献をさらに検証し、最適なパフォーマンスのためにLLMの事前訓練を受けた重みを利用するという重要な役割を強調します。
このコードは、https：//github.com/blacksnail789521/llm4tsで入手できます。

要約(オリジナル)

Multivariate time-series forecasting is vital in various domains, e.g., economic planning and weather prediction. Deep train-from-scratch models have exhibited effective performance yet require large amounts of data, which limits real-world applicability. Recently, researchers have leveraged the representation learning transferability of pre-trained Large Language Models (LLMs) to handle limited non-linguistic datasets effectively. However, incorporating LLMs with time-series data presents challenges of limited adaptation due to different compositions between time-series and linguistic data, and the inability to process multi-scale temporal information. To tackle these challenges, we propose LLM4TS, a framework for time-series forecasting with pre-trained LLMs. LLM4TS consists of a two-stage fine-tuning strategy: the time-series alignment stage to align LLMs with the nuances of time-series data, and the forecasting fine-tuning stage for downstream time-series forecasting tasks. Furthermore, our framework features a novel two-level aggregation method that integrates multi-scale temporal data within pre-trained LLMs, enhancing their ability to interpret time-specific information. In experiments across 7 time-series forecasting datasets, LLM4TS is superior to existing state-of-the-art methods compared with trained-from-scratch models in full-shot scenarios, and also achieves the highest rank in few-shot scenarios. In addition, evaluations compared with different unsupervised representation learning approaches highlight LLM4TS’s effectiveness with representation learning in forecasting tasks. Ablation studies further validate each component’s contribution to LLM4TS and underscore the essential role of utilizing LLM’s pre-trained weights for optimal performance. The code is available at https://github.com/blacksnail789521/LLM4TS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google