Time Series Language Model for Descriptive Caption Generation

要約

時系列データ中の観測可能なパターンに対する代表的な自然言語記述を自動生成することで、時系列データの解釈可能性を高め、分析を簡素化し、領域横断的な有用性を高めることができる。自然言語処理(NLP)やコンピュータビジョン(CV)では、事前に訓練された基礎モデルが大きな進歩を遂げたが、時系列解析への応用はデータの不足によって妨げられてきた。時系列予測のための大規模言語モデル（LLM）ベースの手法はいくつか提案されているが、時系列キャプションはLLMの文脈ではあまり研究されていない。本稿では、時系列キャプション用に特別に設計された新しい時系列言語モデルTSLMを紹介する。TSLMはエンコーダ・デコーダモデルとして動作し、テキストプロンプトと時系列データ表現の両方を活用することで、複数のフェーズにわたる微妙な時間的パターンを捉え、時系列入力の正確なテキスト記述を生成する。TSLMは時系列キャプションにおけるデータ不足の問題に対処するため、第一に、文脈内のプロンプトによる合成データ生成を活用し、第二に、時系列とキャプションのペアに適用される新しいクロスモーダル密検索スコアリングにより、生成されたデータをノイズ除去する。様々な時系列キャプションデータセットでの実験結果は、TSLMが複数のデータモダリティからの既存の最先端アプローチを有意なマージンで上回ることを示している。

要約(オリジナル)

The automatic generation of representative natural language descriptions for observable patterns in time series data enhances interpretability, simplifies analysis and increases cross-domain utility of temporal data. While pre-trained foundation models have made considerable progress in natural language processing (NLP) and computer vision (CV), their application to time series analysis has been hindered by data scarcity. Although several large language model (LLM)-based methods have been proposed for time series forecasting, time series captioning is under-explored in the context of LLMs. In this paper, we introduce TSLM, a novel time series language model designed specifically for time series captioning. TSLM operates as an encoder-decoder model, leveraging both text prompts and time series data representations to capture subtle temporal patterns across multiple phases and generate precise textual descriptions of time series inputs. TSLM addresses the data scarcity problem in time series captioning by first leveraging an in-context prompting synthetic data generation, and second denoising the generated data via a novel cross-modal dense retrieval scoring applied to time series-caption pairs. Experimental findings on various time series captioning datasets demonstrate that TSLM outperforms existing state-of-the-art approaches from multiple data modalities by a significant margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL