Context-Alignment: Activating and Enhancing LLM Capabilities in Time Series

要約

最近、時系列 (TS) タスクに事前トレーニングされた大規模言語モデル (LLM) を活用することがますます注目を集めています。これには、LLM の機能のアクティブ化と強化が含まれます。
多くの手法は、トークンレベルのアライメントに基づいて LLM の機能を活性化することを目的としていますが、自然言語処理における LLM の固有の強み、つまり表面的な埋め込み処理ではなく、言語ロジックと構造に対する深い理解が見落とされています。
我々は、LLM が TS データを文脈化して理解できるようにすることで、LLM が TS データを文脈化して理解できるようにすることで、LLM の能力を活性化できるように、TS を LLM になじみのある言語環境の言語コンポーネントと調整する新しいパラダイムである Context-Alignment を提案します。
具体的には、このようなコンテキストレベルのアライメントは、構造的なアライメントと論理的なアライメントで構成され、TS 言語のマルチモーダル入力に適用されるデュアルスケール コンテキスト アライメント GNN (DSCA-GNN) によって実現されます。
構造的調整では、デュアルスケール ノードを利用して TS 言語で階層構造を記述し、LLM が固有のトークン機能を維持しながら、長い TS データを言語コンポーネント全体として扱うことができるようになります。
論理的配置では、有向エッジを使用して論理関係をガイドし、文脈上のセマンティクスの一貫性を確保します。
デモンストレーション サンプル プロンプトは、DSCA-GNN フレームワークに従ってデモンストレーション サンプル ベースのコンテキスト アライメント (DECA) を構築するために使用されます。
DECA は、事前トレーニングされた LLM のさまざまな層に柔軟かつ繰り返し統合して、ロジックと構造の認識を向上させ、パフォーマンスを向上させることができます。
広範な実験により、DECA の有効性とタスク全体にわたるコンテキスト アライメントの重要性、特に少数ショット予測とゼロショット予測におけるコンテキスト アライメントの重要性が示され、コンテキスト アライメントがコンテキストに関する強力な事前知識を提供することが確認されました。

要約(オリジナル)

Recently, leveraging pre-trained Large Language Models (LLMs) for time series (TS) tasks has gained increasing attention, which involves activating and enhancing LLMs’ capabilities. Many methods aim to activate LLMs’ capabilities based on token-level alignment but overlook LLMs’ inherent strength on natural language processing — their deep understanding of linguistic logic and structure rather than superficial embedding processing. We propose Context-Alignment, a new paradigm that aligns TS with a linguistic component in the language environments familiar to LLMs to enable LLMs to contextualize and comprehend TS data, thereby activating their capabilities. Specifically, such context-level alignment comprises structural alignment and logical alignment, which is achieved by a Dual-Scale Context-Alignment GNNs (DSCA-GNNs) applied to TS-language multimodal inputs. Structural alignment utilizes dual-scale nodes to describe hierarchical structure in TS-language, enabling LLMs treat long TS data as a whole linguistic component while preserving intrinsic token features. Logical alignment uses directed edges to guide logical relationships, ensuring coherence in the contextual semantics. Demonstration examples prompt are employed to construct Demonstration Examples based Context-Alignment (DECA) following DSCA-GNNs framework. DECA can be flexibly and repeatedly integrated into various layers of pre-trained LLMs to improve awareness of logic and structure, thereby enhancing performance. Extensive experiments show the effectiveness of DECA and the importance of Context-Alignment across tasks, particularly in few-shot and zero-shot forecasting, confirming that Context-Alignment provide powerful prior knowledge on context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google