LLM-Mixer: Multiscale Mixing in LLMs for Time Series Forecasting

要約

時系列予測は、特に複雑なマルチスケールの時間パターンのコンテキストにおいて、依然として困難なタスクです。
この研究では、マルチスケール時系列分解と事前トレーニングされた LLM (大規模言語モデル) の組み合わせによって予測精度を向上させるフレームワークである LLM-Mixer を紹介します。
LLM-Mixer は、データを複数の時間解像度に分解し、時系列データ用に特別に設計されたテキスト プロンプトに従ってフリーズした LLM で処理することにより、短期的な変動と長期的な傾向の両方をキャプチャします。
多変量および単変量データセットに対して行われた広範な実験により、LLM-Mixer が競争力のあるパフォーマンスを実現し、さまざまな予測期間にわたって最近の最先端モデルを上回るパフォーマンスを発揮することが実証されました。
この研究は、マルチスケール分析と LLM を組み合わせて効果的かつスケーラブルな時系列予測を実現できる可能性を強調しています。

要約(オリジナル)

Time series forecasting remains a challenging task, particularly in the context of complex multiscale temporal patterns. This study presents LLM-Mixer, a framework that improves forecasting accuracy through the combination of multiscale time-series decomposition with pre-trained LLMs (Large Language Models). LLM-Mixer captures both short-term fluctuations and long-term trends by decomposing the data into multiple temporal resolutions and processing them with a frozen LLM, guided by a textual prompt specifically designed for time-series data. Extensive experiments conducted on multivariate and univariate datasets demonstrate that LLM-Mixer achieves competitive performance, outperforming recent state-of-the-art models across various forecasting horizons. This work highlights the potential of combining multiscale analysis and LLMs for effective and scalable time-series forecasting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google