TiRex: Zero-Shot Forecasting Across Long and Short Horizons with Enhanced In-Context Learning

要約

コンテキスト学習、プロンプトで提供された例のみを使用してタスクを実行する大規模な言語モデルの能力は、最近、時系列予測に適合しています。
このパラダイムは、ゼロショット予測を可能にします。過去の値は、将来の価値を予測するコンテキストとして機能し、非専門家がアクセスできる強力な予測ツールを作成し、トレーニングデータが不足しているときにパフォーマンスを増やします。
ほとんどの既存のゼロショット予測アプローチは、LSTMのような再発モデルが頻繁に優位にある時系列予測での成功にもかかわらず、言語での成功にもかかわらず、トランスアーキテクチャに依存しています。
逆に、LSTMは状態追跡能力のために時系列モデリングに適していますが、強力なコンテキスト学習能力がありません。
競争力のあるコンテキスト学習スキルを備えた強化されたLSTMであるXLSTMを活用することにより、このギャップを閉じるTirexを紹介します。
トランス、状態空間モデル、またはRWKVなどの並列化可能なRNNとは異なり、Tirexは、長老の予測の重要な特性である状態追跡を保持します。
国家追跡能力をさらに促進するために、CPMと呼ばれるトレーニングタイムマスキング戦略を提案します。
Tirexは、Huggingface Benchmarks GiftevalおよびChronos-ZSでのゼロショット時系列予測で新しい最先端を設定し、TABPFN-TS（以前のラボ）、Chronos Bolt（Amazon）、TimesFM（Google）、Moirai（Salesforce）を含む大幅に大きなモデルを上回っています。

要約(オリジナル)

In-context learning, the ability of large language models to perform tasks using only examples provided in the prompt, has recently been adapted for time series forecasting. This paradigm enables zero-shot prediction, where past values serve as context for forecasting future values, making powerful forecasting tools accessible to non-experts and increasing the performance when training data are scarce. Most existing zero-shot forecasting approaches rely on transformer architectures, which, despite their success in language, often fall short of expectations in time series forecasting, where recurrent models like LSTMs frequently have the edge. Conversely, while LSTMs are well-suited for time series modeling due to their state-tracking capabilities, they lack strong in-context learning abilities. We introduce TiRex that closes this gap by leveraging xLSTM, an enhanced LSTM with competitive in-context learning skills. Unlike transformers, state-space models, or parallelizable RNNs such as RWKV, TiRex retains state-tracking, a critical property for long-horizon forecasting. To further facilitate its state-tracking ability, we propose a training-time masking strategy called CPM. TiRex sets a new state of the art in zero-shot time series forecasting on the HuggingFace benchmarks GiftEval and Chronos-ZS, outperforming significantly larger models including TabPFN-TS (Prior Labs), Chronos Bolt (Amazon), TimesFM (Google), and Moirai (Salesforce) across both short- and long-term forecasts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google