Adapting Large Language Models for Time Series Modeling via a Novel Parameter-efficient Adaptation Method

要約

時系列モデリングは、多くの現実世界のアプリケーションで非常に重要性を持ち、広範囲に研究されています。
事前に訓練された基礎モデルは、自然言語処理（NLP）とコンピュータービジョン（CV）の分野で印象的な進歩を遂げていますが、時系列ドメインでの開発はデータスパースによって制約されています。
一連の最近の研究では、大規模な言語モデル（LLM）がトークンの複雑なシーケンスよりも堅牢なパターン認識と推論能力を持っていることが実証されています。
ただし、現在の文献は、（a）時系列と自然言語のモダリティを効果的に整列させ、（b）推論効率を維持することとの間の高品質のバランスをまだ厳しくしています。
上記の問題に対処するために、Time-Llamaフレームワークを提案します。
Time-llamaは、最初に、線形トークン化メカニズムを介して、時系列の入力をトークン埋め込みに変換します。
第二に、時系列トークンの埋め込みは、テキストプロンプトと一致します。
第三に、時系列モデリングにLLMバックボーンをさらに適応させるために、動的な低ランク適応技術（D-LORA）を開発しました。
D-LORAは、各時系列入力のトランスバックボーンの各層で最も適切なLORAモジュールを動的に選択し、モデルの予測機能を高めます。
挑戦的な現実世界の時系列タスクの広範なコレクションに関する私たちの実験結果は、提案された方法が最先端の（SOTA）パフォーマンスを達成することを確認しています。

要約(オリジナル)

Time series modeling holds significant importance in many real-world applications and has been extensively studied. While pre-trained foundation models have made impressive strides in the fields of natural language processing (NLP) and computer vision (CV), their development in time series domains has been constrained by data sparsity. A series of recent studies have demonstrated that large language models (LLMs) possess robust pattern recognition and reasoning abilities over complex sequences of tokens. However, the current literature have yet striked a high-quality balance between (a) effectively aligning the time series and natural language modalities, and (b) keeping the inference efficiency. To address the above issues, we now propose the Time-LlaMA framework. Time-LlaMA first converts the time series input into token embeddings through a linear tokenization mechanism. Second, the time series token embeddings are aligned with the text prompts. Third, to further adapt the LLM backbone for time series modeling, we have developed a dynamic low-rank adaptation technique (D-LoRA). D-LoRA dynamically chooses the most suitable LoRA modules at each layer of the Transformer backbone for each time series input, enhancing the model’s predictive capabilities. Our experimental results on an extensive collection of challenging real-world time series tasks confirm that our proposed method achieves the state-of-the-art (SOTA) performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google