MHCCL: Masked Hierarchical Cluster-Wise Contrastive Learning for Multivariate Time Series

要約

生のラベル付けされていない時系列データからセマンティックリッチな表現を学習することは、分類や予測などのダウンストリーム タスクにとって重要です。
対照的な学習は、最近、専門家の注釈がなくても、その有望な表現学習機能を示しました。
ただし、既存の対照的なアプローチでは、通常、各インスタンスを個別に処理するため、同じセマンティクスを共有する偽陰性のペアが発生します。
この問題に取り組むために、多変量時系列の複数の潜在パーティションからなる階層構造から得られたセマンティック情報を利用する、マスクされた階層的クラスターごとの対照的学習モデルである MHCCL を提案します。
細粒度のクラスタリングはより高い純度を維持し、粗粒度のクラスタリングはより高いレベルのセマンティクスを反映するという観察に動機付けられて、クラスタリング階層からの多粒度情報を組み込むことにより、偽のネガティブを除外し、ポジティブを補う新しい下方マスキング戦略を提案します。
さらに、MHCCL では新しい上方マスキング戦略が設計されており、各パーティションでクラスターの外れ値を除去してプロトタイプを改良します。これにより、階層的クラスター化プロセスが高速化され、クラスター化の品質が向上します。
広く使用されている 7 つの多変量時系列データセットに対して実験的評価を行います。
結果は、教師なし時系列表現学習の最先端のアプローチに対する MHCCL の優位性を示しています。

要約(オリジナル)

Learning semantic-rich representations from raw unlabeled time series data is critical for downstream tasks such as classification and forecasting. Contrastive learning has recently shown its promising representation learning capability in the absence of expert annotations. However, existing contrastive approaches generally treat each instance independently, which leads to false negative pairs that share the same semantics. To tackle this problem, we propose MHCCL, a Masked Hierarchical Cluster-wise Contrastive Learning model, which exploits semantic information obtained from the hierarchical structure consisting of multiple latent partitions for multivariate time series. Motivated by the observation that fine-grained clustering preserves higher purity while coarse-grained one reflects higher-level semantics, we propose a novel downward masking strategy to filter out fake negatives and supplement positives by incorporating the multi-granularity information from the clustering hierarchy. In addition, a novel upward masking strategy is designed in MHCCL to remove outliers of clusters at each partition to refine prototypes, which helps speed up the hierarchical clustering process and improves the clustering quality. We conduct experimental evaluations on seven widely-used multivariate time series datasets. The results demonstrate the superiority of MHCCL over the state-of-the-art approaches for unsupervised time series representation learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google