NuwaTS: a Foundation Model Mending Every Incomplete Time Series

要約

時系列補完は、現実世界のさまざまなシステムにおいて重要な役割を果たしており、広範囲に調査されています。
時系列代入のモデルには特殊化が必要な場合が多く、さまざまなドメインや欠損パターンに応じた個別の設計が必要になります。
この研究では、一般的な時系列代入のために事前トレーニング済み言語モデル (PLM) を再利用するフレームワークである NuwaTS を紹介します。
このモデルは、トレーニングが完了すると、パターンが欠落している任意のドメインの不完全な時系列に対する代入タスクに適用できます。
まず、不完全な時系列のサブシリーズ パッチごとに特定の埋め込みを考案します。
これらの埋め込みには、パッチ自体、パッチ内の欠落データ パターン、およびパッチの統計的特性に関する情報がカプセル化されています。
さまざまな欠損パターンに対するモデルの適応性を高めるために、さまざまな欠損パターン間で同じパッチの表現をより類似させる対照的な学習アプローチを提案します。
この対照的な損失と欠損データ補完タスクを組み合わせることで、ワンフォーオール補完モデルを取得するように PLM をトレーニングします。
さらに、プラグアンドプレイのレイヤーごとの微調整アプローチを利用して、ドメイン固有のモデルをトレーニングします。
実験結果は、多様なドメインからの 1,700 万を超える時系列のデータセットを活用して、さまざまなデータセットや欠損パターンにわたって既存のドメイン固有のモデルを上回るワン・フォー・オール代入モデルを取得することを示しています。
さらに、NuwaTS は予測などの他の時系列タスクにも一般化できることがわかりました。
コードは https://github.com/Chengyui/NuwaTS で入手できます。

要約(オリジナル)

Time series imputation plays a crucial role in various real-world systems and has been extensively explored. Models for time series imputation often require specialization, necessitating distinct designs for different domains and missing patterns. In this study, we introduce NuwaTS, a framework to repurpose Pre-trained Language Model (PLM) for general time series imputation. Once trained, this model can be applied to imputation tasks on incomplete time series from any domain with any missing patterns. We begin by devising specific embeddings for each sub-series patch of the incomplete time series. These embeddings encapsulate information about the patch itself, the missing data patterns within the patch, and the patch’s statistical characteristics. To enhance the model’s adaptability to different missing patterns, we propose a contrastive learning approach to make representations of the same patch more similar across different missing patterns. By combining this contrastive loss with the missing data imputation task, we train PLMs to obtain a one-for-all imputation model. Furthermore, we utilize a plug-and-play layer-wise fine-tuning approach to train domain-specific models. Experimental results demonstrate that leveraging a dataset of over seventeen million time series from diverse domains, we obtain a one-for-all imputation model which outperforms existing domain-specific models across various datasets and missing patterns. Additionally, we find that NuwaTS can be generalized to other time series tasks such as forecasting. Our codes are available at https://github.com/Chengyui/NuwaTS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google