TimeDRL: Disentangled Representation Learning for Multivariate Time-Series

要約

多くの実世界のアプリケーション (ヘルスケアや産業など) における多変量時系列データは有益ですが、ラベルの欠如と高次元性のために困難を伴います。
自己教師あり学習に関する最近の研究では、ラベルに依存せずにリッチな表現を学習する可能性があることが示されていますが、もつれの解けた埋め込みを学習し、帰納的バイアスの問題 (変換不変性など) に対処するには不十分です。
これらの課題に取り組むために、私たちは、もつれのない二重レベルの埋め込みを備えた汎用多変量時系列表現学習フレームワークである TimeDRL を提案します。
TimeDRL は 3 つの新しい機能によって特徴付けられます。(i) [CLS] トークン戦略を使用して、パッチされた時系列データからタイムスタンプ レベルおよびインスタンス レベルの埋め込みを解きほぐして導出します。
(ii) 解きほぐされた表現学習のためのタイムスタンプ予測タスクとインスタンス対比タスクの利用。前者は予測損失を伴うタイムスタンプレベルの埋め込みを最適化し、後者は対比損失を伴うインスタンスレベルの埋め込みを最適化します。
(iii) トリミングやマスキングによる変換不変性などの誘導バイアスを排除するための拡張手法の回避。
6 つの時系列予測データセットと 5 つの時系列分類データセットに対する包括的な実験により、TimeDRL が既存の表現学習アプローチを常に上回り、予測の MSE で 58.02%、分類の精度で 1.48% の平均向上を達成したことが示されました。
さらに、広範なアブレーション研究により、TimeDRL アーキテクチャの各コンポーネントの相対的な寄与が確認され、半教師あり学習の評価により、ラベル付きデータが限られている場合でも、実世界のシナリオでの有効性が実証されました。
コードは https://github.com/blacksnail789521/TimeDRL で入手できます。

要約(オリジナル)

Multivariate time-series data in numerous real-world applications (e.g., healthcare and industry) are informative but challenging due to the lack of labels and high dimensionality. Recent studies in self-supervised learning have shown their potential in learning rich representations without relying on labels, yet they fall short in learning disentangled embeddings and addressing issues of inductive bias (e.g., transformation-invariance). To tackle these challenges, we propose TimeDRL, a generic multivariate time-series representation learning framework with disentangled dual-level embeddings. TimeDRL is characterized by three novel features: (i) disentangled derivation of timestamp-level and instance-level embeddings from patched time-series data using a [CLS] token strategy; (ii) utilization of timestamp-predictive and instance-contrastive tasks for disentangled representation learning, with the former optimizing timestamp-level embeddings with predictive loss, and the latter optimizing instance-level embeddings with contrastive loss; and (iii) avoidance of augmentation methods to eliminate inductive biases, such as transformation-invariance from cropping and masking. Comprehensive experiments on 6 time-series forecasting datasets and 5 time-series classification datasets have shown that TimeDRL consistently surpasses existing representation learning approaches, achieving an average improvement of forecasting by 58.02% in MSE and classification by 1.48% in accuracy. Furthermore, extensive ablation studies confirmed the relative contribution of each component in TimeDRL’s architecture, and semi-supervised learning evaluations demonstrated its effectiveness in real-world scenarios, even with limited labeled data. The code is available at https://github.com/blacksnail789521/TimeDRL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google