LLM-ABBA: Understand time series via symbolic approximation

要約

時系列に対する大規模言語モデル (LLM) の成功は、以前の研究で実証されています。
シンボリック時系列表現を利用すると、LLM と時系列の間のギャップを効率的に埋めることができます。
しかし、残りの課題は、時系列の隠された情報に従ってLLMの埋め込み空間を調整しながら、LLMのシンボルまたは既存のトークンを使用して、時系列に隠された意味情報を利用することです。
適応ブラウン ブリッジ ベースのシンボリック集約 (ABBA) と呼ばれるシンボリック時系列近似 (STSA) 手法は、LLM の既存のトークンを使用しながら、振幅と周期の観点から時系列パターンをモデル化することにより、顕著な時系列特徴を保存する際に優れた効果を示します。
この論文では、さまざまなダウンストリーム時系列タスクのための大規模な言語モデルに ABBA を統合する、LLM-ABBA と呼ばれる方法を紹介します。
時系列をシンボル化することにより、LLM-ABBA は、UCR および 3 つの医療時系列分類タスクにおける最近の最先端 (SOTA) に比べて優れています。
一方、ABBA の固定ポリゴン チェーン トリックは、シンボルから数値への移行中にシンボルの誤用から生じる累積誤差の影響を大幅に軽減することにより、予測タスク中に \kc{明らかなドリフトを回避する}ために導入されています。
時系列回帰タスクでは、LLM-ABBA は時系列外部回帰 (TSER) ベンチマークで新しい SOTA を達成します。
LLM-ABBA も、最近の SOTA 時系列予測結果と比較して、競合する予測能力を示しています。
このフレームワークは他の時系列タスクにもシームレスに拡張できると考えています。

要約(オリジナル)

The success of large language models (LLMs) for time series has been demonstrated in previous work. Utilizing a symbolic time series representation, one can efficiently bridge the gap between LLMs and time series. However, the remaining challenge is to exploit the semantic information hidden in time series by using symbols or existing tokens of LLMs, while aligning the embedding space of LLMs according to the hidden information of time series. The symbolic time series approximation (STSA) method called adaptive Brownian bridge-based symbolic aggregation (ABBA) shows outstanding efficacy in preserving salient time series features by modeling time series patterns in terms of amplitude and period while using existing tokens of LLMs. In this paper, we introduce a method, called LLM-ABBA, that integrates ABBA into large language models for various downstream time series tasks. By symbolizing time series, LLM-ABBA compares favorably to the recent state-of-the-art (SOTA) in UCR and three medical time series classification tasks. Meanwhile, a fixed-polygonal chain trick in ABBA is introduced to \kc{avoid obvious drifting} during prediction tasks by significantly mitigating the effects of cumulative error arising from misused symbols during the transition from symbols to numerical values. In time series regression tasks, LLM-ABBA achieves the new SOTA on Time Series Extrinsic Regression (TSER) benchmarks. LLM-ABBA also shows competitive prediction capability compared to recent SOTA time series prediction results. We believe this framework can also seamlessly extend to other time series tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google