Reprogramming Foundational Large Language Models(LLMs) for Enterprise Adoption for Spatio-Temporal Forecasting Applications: Unveiling a New Era in Copilot-Guided Cross-Modal Time Series Representation Learning

要約

時空間予測は、交通システム、物流、サプライ チェーン管理などのさまざまな分野で重要な役割を果たしています。
ただし、既存の方法では、大規模で複雑なデータセットを処理できる能力に制限があります。
この制限を克服するために、オープンソースの大規模および小規模言語モデル (LLM および LM) の長所と従来の予測手法を組み合わせたハイブリッド アプローチを導入します。
従来の手法を動的プロンプトとグループ化されたクエリ、マルチヘッド アテンション メカニズムで強化し、進化する非線形時系列データにおける系列内および系列間の依存関係の両方をより効果的にキャプチャします。
さらに、アクティベーション メモリ削減による低ランク適応 (LoRA-AMR) を使用して、消費者グレードのハードウェア上のオープンソースの大規模 LM によって生成された記述を利用して、時系列傾向分析のために小規模なオープンソース LM を微調整することで、オンプレミスのカスタマイズを促進します。
) 推論レイテンシを維持しながら、計算オーバーヘッドとアクティベーション ストレージ メモリの需要を削減する技術。
時系列傾向分析のための言語モデル処理と、クロスモーダル統合のための従来の時系列表現学習方法を組み合わせて、堅牢で正確な予測を実現します。
フレームワークの有効性は、現実世界のさまざまなデータセットに対する広範な実験を通じて実証されており、予測精度の点で既存の手法を大幅に上回っています。

要約(オリジナル)

Spatio-temporal forecasting plays a crucial role in various sectors such as transportation systems, logistics, and supply chain management. However, existing methods are limited by their ability to handle large, complex datasets. To overcome this limitation, we introduce a hybrid approach that combines the strengths of open-source large and small-scale language models (LLMs and LMs) with traditional forecasting methods. We augment traditional methods with dynamic prompting and a grouped-query, multi-head attention mechanism to more effectively capture both intra-series and inter-series dependencies in evolving nonlinear time series data. In addition, we facilitate on-premises customization by fine-tuning smaller open-source LMs for time series trend analysis utilizing descriptions generated by open-source large LMs on consumer-grade hardware using Low-Rank Adaptation with Activation Memory Reduction (LoRA-AMR) technique to reduce computational overhead and activation storage memory demands while preserving inference latency. We combine language model processing for time series trend analysis with traditional time series representation learning method for cross-modal integration, achieving robust and accurate forecasts. The framework effectiveness is demonstrated through extensive experiments on various real-world datasets, outperforming existing methods by significant margins in terms of forecast accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google