Self-Supervised Learning of Disentangled Representations for Multivariate Time-Series

要約

医療や産業などの分野における多変量時系列データは有益ですが、高次元でラベルがないため困難です。
最近の自己教師あり学習手法は、ラベルのないリッチな表現の学習には優れていますが、もつれの解けた埋め込みや、変換不変性などの帰納的バイアスの問題に苦労しています。
これらの課題に対処するために、デュアルレベルのもつれの解けた埋め込みを使用した多変量時系列表現学習のフレームワークである TimeDRL を導入します。
TimeDRL の機能: (i) [CLS] トークン戦略を使用した、タイムスタンプ レベルとインスタンス レベルの埋め込みのもつれを解く。
(ii) 表現学習のためのタイムスタンプ予測タスクとインスタンス対比タスク。
(iii) 誘導バイアスを排除するための増強方法の回避。
予測データセットと分類データセットの実験では、限られたラベル付きデータを使用した半教師あり設定でのさらなる検証により、TimeDRL が既存の手法を上回るパフォーマンスを示すことが示されました。

要約(オリジナル)

Multivariate time-series data in fields like healthcare and industry are informative but challenging due to high dimensionality and lack of labels. Recent self-supervised learning methods excel in learning rich representations without labels but struggle with disentangled embeddings and inductive bias issues like transformation-invariance. To address these challenges, we introduce TimeDRL, a framework for multivariate time-series representation learning with dual-level disentangled embeddings. TimeDRL features: (i) disentangled timestamp-level and instance-level embeddings using a [CLS] token strategy; (ii) timestamp-predictive and instance-contrastive tasks for representation learning; and (iii) avoidance of augmentation methods to eliminate inductive biases. Experiments on forecasting and classification datasets show TimeDRL outperforms existing methods, with further validation in semi-supervised settings with limited labeled data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google