TEST: Text Prototype Aligned Embedding to Activate LLM’s Ability for Time Series

要約

この研究では、今日の言語モデル (LLM) を使用して時系列 (TS) タスクを完了するための 2 つの戦略を要約します。LLM-for-TS、TS データの基本的な大規模モデルの設計とトレーニング。
TS-for-LLM は、事前トレーニングされた LLM が TS データを処理できるようにします。
不十分なデータ蓄積、限られたリソース、およびセマンティックコンテキストの要件を考慮して、この研究ではLLM用TS方法に焦点を当てており、LLMに適したTS埋め込み方法を設計することにより、TSデータに対するLLMの能力を活性化することを目的としています。
提案された手法は TEST と呼ばれます。
まず TS をトークン化し、インスタンスごと、機能ごと、テキスト プロトタイプに合わせたコントラストによってそれらを埋め込むためのエンコーダーを構築し、次に LLM を埋め込みに対してよりオープンにするプロンプトを作成し、最後に TS タスクを実装します。
実験は、構造とサイズが異なる 8 つの LLM を使用して TS 分類と予測タスクを実行します。
その結果は、TS タスク用にカスタマイズされた現在の SOTA モデルを大幅に上回ることはできませんが、LLM をパターン マシンとして扱うことで、言語能力を損なうことなく TS データを処理する LLM の能力を得ることができます。
この論文は、さらなる研究を促す基礎研究となることを目的としています。

要約(オリジナル)

This work summarizes two strategies for completing time-series (TS) tasks using today’s language model (LLM): LLM-for-TS, design and train a fundamental large model for TS data; TS-for-LLM, enable the pre-trained LLM to handle TS data. Considering the insufficient data accumulation, limited resources, and semantic context requirements, this work focuses on TS-for-LLM methods, where we aim to activate LLM’s ability for TS data by designing a TS embedding method suitable for LLM. The proposed method is named TEST. It first tokenizes TS, builds an encoder to embed them by instance-wise, feature-wise, and text-prototype-aligned contrast, and then creates prompts to make LLM more open to embeddings, and finally implements TS tasks. Experiments are carried out on TS classification and forecasting tasks using 8 LLMs with different structures and sizes. Although its results cannot significantly outperform the current SOTA models customized for TS tasks, by treating LLM as the pattern machine, it can endow LLM’s ability to process TS data without compromising the language ability. This paper is intended to serve as a foundational work that will inspire further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google