Self-Supervised Learning of Time Series Representation via Diffusion Process and Imputation-Interpolation-Forecasting Mask

要約

時系列表現学習 (TSRL) は、さまざまな時系列 (TS) モデリング タスクの情報表現を生成することに重点を置いています。
TSRL における従来の自己教師あり学習 (SSL) 手法は、再構築、敵対的、対比的、予測という 4 つの主要なカテゴリに分類され、それぞれにノイズと複雑なデータのニュアンスに対する感度という共通の課題があります。
最近、拡散ベースの手法が高度な生成機能を示しています。
ただし、これらは主に代入や予測などの特定のアプリケーション シナリオをターゲットにしており、汎用 TSRL の普及モデルの活用にはギャップが残っています。
私たちの取り組みである Time Series Diffusion Embedding (TSDE) は、初の拡散ベースの SSL TSRL アプローチとしてこのギャップを埋めます。
TSDE は、Imputation-Interpolation-Forecasting (IIF) マスクを使用して、TS データを観測部分とマスク部分にセグメント化します。
クロスオーバー機構を備えたデュアル直交トランスエンコーダーを備えたトレーニング可能な埋め込み関数を観察対象のパーツに適用します。
マスクされた部分に追加されるノイズを予測するように設計された、埋め込みを条件とした逆拡散プロセスをトレーニングします。
広範な実験により、代入、内挿、予測、異常検出、分類、クラスタリングにおける TSDE の優位性が実証されています。
また、アブレーション研究を実施し、埋め込み可視化を提示し、推論速度を比較し、TS データの表現を学習する際の TSDE の効率と有効性をさらに実証します。

要約(オリジナル)

Time Series Representation Learning (TSRL) focuses on generating informative representations for various Time Series (TS) modeling tasks. Traditional Self-Supervised Learning (SSL) methods in TSRL fall into four main categories: reconstructive, adversarial, contrastive, and predictive, each with a common challenge of sensitivity to noise and intricate data nuances. Recently, diffusion-based methods have shown advanced generative capabilities. However, they primarily target specific application scenarios like imputation and forecasting, leaving a gap in leveraging diffusion models for generic TSRL. Our work, Time Series Diffusion Embedding (TSDE), bridges this gap as the first diffusion-based SSL TSRL approach. TSDE segments TS data into observed and masked parts using an Imputation-Interpolation-Forecasting (IIF) mask. It applies a trainable embedding function, featuring dual-orthogonal Transformer encoders with a crossover mechanism, to the observed part. We train a reverse diffusion process conditioned on the embeddings, designed to predict noise added to the masked part. Extensive experiments demonstrate TSDE’s superiority in imputation, interpolation, forecasting, anomaly detection, classification, and clustering. We also conduct an ablation study, present embedding visualizations, and compare inference speed, further substantiating TSDE’s efficiency and validity in learning representations of TS data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google