MultiCast: Zero-Shot Multivariate Time Series Forecasting Using LLMs

要約

多変量時系列で将来の値を予測することは、さまざまなドメインにわたって重要です。
この研究では、このタスクに対する大規模言語モデル (LLM) の使用を検討します。
ただし、LLM は通常、1 次元データを処理します。
多変量時系列予測のためのゼロショット LLM ベースのアプローチである MultiCast を紹介します。
これにより、重要な繰り返しパターンを維持しながら次元を効果的に削減する 3 つの新しいトークン多重化ソリューションを通じて、LLM が多変量時系列を入力として受け取ることができます。
さらに、量子化スキームは、LLM がこれらのパターンをよりよく学習できるようにすると同時に、実際のアプリケーションでのトークンの使用を大幅に削減します。
3 つの現実世界のデータセットに対する最先端のアプローチと比較して、RMSE と実行時間の観点からアプローチのパフォーマンスを紹介します。

要約(オリジナル)

Predicting future values in multivariate time series is vital across various domains. This work explores the use of large language models (LLMs) for this task. However, LLMs typically handle one-dimensional data. We introduce MultiCast, a zero-shot LLM-based approach for multivariate time series forecasting. It allows LLMs to receive multivariate time series as input, through three novel token multiplexing solutions that effectively reduce dimensionality while preserving key repetitive patterns. Additionally, a quantization scheme helps LLMs to better learn these patterns, while significantly reducing token use for practical applications. We showcase the performance of our approach in terms of RMSE and execution time against state-of-the-art approaches on three real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google