Time to Embed: Unlocking Foundation Models for Time Series with Channel Descriptions

要約

従来の時系列モデルはタスク固有であり、多くの場合、データセット固有のトレーニングと広範な機能エンジニアリングに依存します。
トランスベースのアーキテクチャはスケーラビリティを改善しましたが、テキスト、ビジョン、オーディオが一般的な基礎モデルは、時系列のために採用されていないままであり、主に予測に限定されています。
共有、転送、ドメイン対応の表現を学習する多変量時系列の基礎埋め込みモデルである$ \ textBf {charm} $を紹介します。
時系列の基礎学習のユニークな困難に対処するために、$ \ textbf {charm} $には、チャネルレベルのテキストの説明を統合しながら、順序を不変のままにします。
このモデルは、新しい増強スキームと解釈可能性とトレーニングの安定性を改善するために設計された損失関数を使用して、共同埋め込み予測アーキテクチャ（JEPA）を使用してトレーニングされています。
当社の$ 7 $ Mパラメーターモデルは、多様なダウンストリームタスク全体で最先端のパフォーマンスを実現し、時系列表現学習のための新しいベンチマークを設定します。

要約(オリジナル)

Traditional time series models are task-specific and often depend on dataset-specific training and extensive feature engineering. While Transformer-based architectures have improved scalability, foundation models, commonplace in text, vision, and audio, remain under-explored for time series and are largely restricted to forecasting. We introduce $\textbf{CHARM}$, a foundation embedding model for multivariate time series that learns shared, transferable, and domain-aware representations. To address the unique difficulties of time series foundation learning, $\textbf{CHARM}$ incorporates architectural innovations that integrate channel-level textual descriptions while remaining invariant to channel order. The model is trained using a Joint Embedding Predictive Architecture (JEPA), with novel augmentation schemes and a loss function designed to improve interpretability and training stability. Our $7$M-parameter model achieves state-of-the-art performance across diverse downstream tasks, setting a new benchmark for time series representation learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google