LLM4TS: Two-Stage Fine-Tuning for Time-Series Forecasting with Pre-Trained LLMs

要約

この作業では、事前トレーニングされた大規模言語モデル (LLM) を活用して、時系列予測を強化します。
自然言語処理とコンピューター ビジョンの統合モデルに対する関心の高まりを反映して、私たちは長期時系列予測用の類似モデルを作成することを構想しています。
堅牢な基礎モデルを構築するための大規模な時系列データが限られているため、LLM4TS のアプローチでは、事前トレーニングされた LLM の強みを活用することに焦点を当てています。
時系列パッチングと時間エンコーディングを組み合わせることで、時系列データを効果的に処理する LLM の機能が強化されました。
チャットボット ドメインの教師あり微調整にヒントを得て、私たちは 2 段階の微調整プロセスを優先します。まず、LLM を時系列データに向けて調整するための教師あり微調整を実行し、次にタスク固有の下流微調整を行います。
さらに、大規模なパラメータ調整を行わずに事前トレーニングされた LLM の柔軟性を解放するために、いくつかのパラメータ効率の良い微調整 (PEFT) 手法を採用しています。
これらのイノベーションを利用して、LLM4TS は長期予測において最先端の結果をもたらしました。
また、私たちのモデルは、事前トレーニングされた LLM から転送された知識のおかげで、堅牢な表現学習器と効果的な少数ショット学習器の両方として優れた機能を示しました。

要約(オリジナル)

In this work, we leverage pre-trained Large Language Models (LLMs) to enhance time-series forecasting. Mirroring the growing interest in unifying models for Natural Language Processing and Computer Vision, we envision creating an analogous model for long-term time-series forecasting. Due to limited large-scale time-series data for building robust foundation models, our approach LLM4TS focuses on leveraging the strengths of pre-trained LLMs. By combining time-series patching with temporal encoding, we have enhanced the capability of LLMs to handle time-series data effectively. Inspired by the supervised fine-tuning in chatbot domains, we prioritize a two-stage fine-tuning process: first conducting supervised fine-tuning to orient the LLM towards time-series data, followed by task-specific downstream fine-tuning. Furthermore, to unlock the flexibility of pre-trained LLMs without extensive parameter adjustments, we adopt several Parameter-Efficient Fine-Tuning (PEFT) techniques. Drawing on these innovations, LLM4TS has yielded state-of-the-art results in long-term forecasting. Our model has also shown exceptional capabilities as both a robust representation learner and an effective few-shot learner, thanks to the knowledge transferred from the pre-trained LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google