Beyond LoRA: Exploring Efficient Fine-Tuning Techniques for Time Series Foundational Models

要約

Time Series Foundation Models (TSFM) は、小売、金融、運輸などの分野にわたる複雑で大規模な時系列データをモデル化できる機能として最近注目を集めています。
ただし、ヘルスケアなどの機密性の高いドメイン固有の分野への適用は依然として困難です。これは主に、公開されているデータセットが乏しい、特殊なドメイン外のタスクに合わせてこれらのモデルを微調整することが難しいためです。
この研究では、医療アプリケーション、特に敗血症患者の ICU バイタル予測に焦点を当て、これらの制限に対処するためのパラメータ効率微調整 (PEFT) 技術の使用を検討します。
敗血症患者のバイタルサインを予測するために、Chronos TSFM の複数の構成で 2 つの選択的 (BitFit および LayerNorm Tuning) および 2 つの加算的 (VeRA および FourierFT) PEFT 技術を導入し、評価します。
私たちの比較分析は、これらの PEFT 手法の一部がパラメーター効率とドメイン適応の点で LoRA を上回っており、ICU バイタル予測タスクにおける最先端 (SOTA) の結果を確立していることを示しています。
興味深いことに、Chronos (Tiny) バリアントに適用された FourierFT は、ベンチマークの 700K パラメーターと比較して 2,400 パラメーターのみを微調整しながら、SOTA モデルを上回っています。

要約(オリジナル)

Time Series Foundation Models (TSFMs) have recently garnered attention for their ability to model complex, large-scale time series data across domains such as retail, finance, and transportation. However, their application to sensitive, domain-specific fields like healthcare remains challenging, primarily due to the difficulty of fine-tuning these models for specialized, out-of-domain tasks with scarce publicly available datasets. In this work, we explore the use of Parameter-Efficient Fine-Tuning (PEFT) techniques to address these limitations, focusing on healthcare applications, particularly ICU vitals forecasting for sepsis patients. We introduce and evaluate two selective (BitFit and LayerNorm Tuning) and two additive (VeRA and FourierFT) PEFT techniques on multiple configurations of the Chronos TSFM for forecasting vital signs of sepsis patients. Our comparative analysis demonstrates that some of these PEFT methods outperform LoRA in terms of parameter efficiency and domain adaptation, establishing state-of-the-art (SOTA) results in ICU vital forecasting tasks. Interestingly, FourierFT applied to the Chronos (Tiny) variant surpasses the SOTA model while fine-tuning only 2,400 parameters compared to the 700K parameters of the benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google