T-Rep: Representation Learning for Time Series using Time-Embeddings

要約

多変量時系列は、多くの場合、ラベルがなく、高次元で、ノイズが多く、欠損データが含まれるため、標準的な機械学習手法に課題をもたらします。
これに対処するために、タイムステップ粒度で時系列表現を学習する自己教師あり手法である T-Rep を提案します。
T-Rep は、特徴抽出器と並行して時間のベクトル埋め込みを学習し、傾向、周期性、分布シフトなどの時間的特徴を信号から抽出します。
これらの時間埋め込みは、プレテキスト タスクで利用され、表現に滑らかできめの細かい時間依存関係を組み込み、欠落データに対する堅牢性を強化します。
下流の分類、予測、異常検出タスクに関して T-Rep を評価します。
これは、時系列に関する既存の自己教師ありアルゴリズムと比較され、3 つのタスクすべてで優れています。
私たちは欠損データ領域で T-Rep をテストし、対応するものよりも復元力が高いことが判明しました。
最後に、潜在空間の視覚化実験を提供し、学習された表現の解釈可能性を強調します。

要約(オリジナル)

Multivariate time series present challenges to standard machine learning techniques, as they are often unlabeled, high dimensional, noisy, and contain missing data. To address this, we propose T-Rep, a self-supervised method to learn time series representations at a timestep granularity. T-Rep learns vector embeddings of time alongside its feature extractor, to extract temporal features such as trend, periodicity, or distribution shifts from the signal. These time-embeddings are leveraged in pretext tasks, to incorporate smooth and fine-grained temporal dependencies in the representations, as well as reinforce robustness to missing data. We evaluate T-Rep on downstream classification, forecasting, and anomaly detection tasks. It is compared to existing self-supervised algorithms for time series, which it outperforms in all three tasks. We test T-Rep in missing data regimes, where it proves more resilient than its counterparts. Finally, we provide latent space visualisation experiments, highlighting the interpretability of the learned representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google