Low-Rank Adaptation of Time Series Foundational Models for Out-of-Domain Modality Forecasting

要約

低ランク適応 (LoRA) は、さまざまなモダリティやタスクにわたって大規模な事前トレーニング済みモデルまたは基礎モデルを微調整するために広く使用されている手法です。
ただし、時系列データ、特に基礎モデルへの応用はまだ研究されていません。
この論文では、LoRA が現代の時系列基本モデル (Lag-Llama、MOIRAI、Chronos) に及ぼす影響を検証します。
私たちは、集中治療室 (ICU) の敗血症患者のバイタルサインを予測するための LoRA の微調整可能性を実証し、これまで見たことのない領域外のモダリティに対するモデルの適応性を強調します。
LoRA の統合は、限られたドメイン固有のデータに対する大規模モデルの微調整に伴う非効率を削減しながら、予測パフォーマンスを向上させることを目的としています。
私たちの実験では、時系列基本モデルの LoRA 微調整により予測が大幅に向上し、同様のモダリティでゼロからトレーニングされた最先端のモデルに匹敵する結果が得られることが示されました。
当社では、包括的なアブレーション研究を実施して、調整可能なパラメーターの数と予測パフォーマンスの間のトレードオフを実証し、さまざまな LoRA マトリックス ランクがモデルのパフォーマンスに及ぼす影響を評価します。

要約(オリジナル)

Low-Rank Adaptation (LoRA) is a widely used technique for fine-tuning large pre-trained or foundational models across different modalities and tasks. However, its application to time series data, particularly within foundational models, remains underexplored. This paper examines the impact of LoRA on contemporary time series foundational models: Lag-Llama, MOIRAI, and Chronos. We demonstrate LoRA’s fine-tuning potential for forecasting the vital signs of sepsis patients in intensive care units (ICUs), emphasizing the models’ adaptability to previously unseen, out-of-domain modalities. Integrating LoRA aims to enhance forecasting performance while reducing inefficiencies associated with fine-tuning large models on limited domain-specific data. Our experiments show that LoRA fine-tuning of time series foundational models significantly improves forecasting, achieving results comparable to state-of-the-art models trained from scratch on similar modalities. We conduct comprehensive ablation studies to demonstrate the trade-offs between the number of tunable parameters and forecasting performance and assess the impact of varying LoRA matrix ranks on model performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google