Small but Mighty: Enhancing Time Series Forecasting with Lightweight LLMs

要約

LLMは時系列予測において顕著な可能性を示していますが、それらの実際の展開は、過度の計算要求とメモリフットプリントによって制約されたままです。
既存のLLMベースのアプローチは、通常、3つの重大な制限に悩まされています。数値系列パターンの処理における非効率的なパラメーター利用。
連続的な時間信号と離散テキストの埋め込みの間のモダリティの不整列。
リアルタイムの専門知識統合の柔軟性。
効率的かつ正確な時系列予測のために、Sub-3BパラメーターSLMの最初の体系的な調査であるSmetiamesを提示します。
私たちのアプローチは、3つの主要な革新に焦点を当てています。記述的統計的特徴を通じてテキストセマンティクスを橋渡しする統計的に強化されたプロンプトメカニズム。
学習可能なパラメーターを介して、一時的なパターンを言語モデルトークンスペースと整列させる適応融合融合埋め込みアーキテクチャ。
SLMSの計算効率によって有効になった動的な混合フレームワークは、基本予測とドメイン固有のモデルを適応的に組み合わせて組み合わせています。
7つのベンチマークデータセットにわたる広範な評価は、3BパラメーターSLMが5つのプライマリデータセットで最先端のパフォーマンスを達成し、7BパラメーターLLMベースラインと比較して3.8倍のトレーニングと5.2倍低いメモリ消費を維持することを示しています。
特に、提案されているモデルは、より良い学習能力を示し、従来のLLMよりも12.3％低いMSEを達成しています。
アブレーション研究では、統計的プロンプトとクロスモーダル融合モジュールがそれぞれ15.7％および18.2％のエラー減少が長時間の予測タスクに貢献していることを検証しています。
効率性 – アクセラシーのトレードオフ状況を再定義することにより、この作業は、実用的な時系列予測のためのリソース集約型LLMの実行可能な代替品としてSLMを確立します。
コードとモデルはhttps://github.com/xiyan1234567/smetimesで入手できます。

要約(オリジナル)

While LLMs have demonstrated remarkable potential in time series forecasting, their practical deployment remains constrained by excessive computational demands and memory footprints. Existing LLM-based approaches typically suffer from three critical limitations: Inefficient parameter utilization in handling numerical time series patterns; Modality misalignment between continuous temporal signals and discrete text embeddings; and Inflexibility for real-time expert knowledge integration. We present SMETimes, the first systematic investigation of sub-3B parameter SLMs for efficient and accurate time series forecasting. Our approach centers on three key innovations: A statistically-enhanced prompting mechanism that bridges numerical time series with textual semantics through descriptive statistical features; A adaptive fusion embedding architecture that aligns temporal patterns with language model token spaces through learnable parameters; And a dynamic mixture-of-experts framework enabled by SLMs’ computational efficiency, adaptively combining base predictions with domain-specific models. Extensive evaluations across seven benchmark datasets demonstrate that our 3B-parameter SLM achieves state-of-the-art performance on five primary datasets while maintaining 3.8x faster training and 5.2x lower memory consumption compared to 7B-parameter LLM baselines. Notably, the proposed model exhibits better learning capabilities, achieving 12.3% lower MSE than conventional LLM. Ablation studies validate that our statistical prompting and cross-modal fusion modules respectively contribute 15.7% and 18.2% error reduction in long-horizon forecasting tasks. By redefining the efficiency-accuracy trade-off landscape, this work establishes SLMs as viable alternatives to resource-intensive LLMs for practical time series forecasting. Code and models are available at https://github.com/xiyan1234567/SMETimes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google