Soft Contrastive Learning for Time Series

要約

対照学習は、自己教師ありの方法で時系列から表現を学習するのに効果的であることが示されています。
ただし、時系列内の隣接するタイムスタンプからの同様の時系列インスタンスまたは値を対比すると、それらの固有の相関関係が無視されることになり、学習された表現の品質が低下します。
この問題に対処するために、私たちは時系列に対するシンプルかつ効果的なソフト対比学習戦略である SoftCLT を提案します。
これは、0 から 1 までの範囲のソフト割り当てを使用して、インスタンスごとの時間的なコントラスト損失を導入することによって実現されます。
具体的には、1) データ空間上の時系列間の距離によるインスタンスごとのコントラスト損失、2) タイムスタンプの差による時間的コントラスト損失のソフト割り当てを定義します。
SoftCLT は、付加機能なしで学習された表現の品質を向上させる、時系列対照学習のためのプラグアンドプレイ手法です。
実験では、SoftCLT が分類、半教師あり学習、転移学習、異常検出などのさまざまな下流タスクのパフォーマンスを一貫して向上させ、最先端のパフォーマンスを示すことを実証しました。
コードはこのリポジトリ: https://github.com/seunghan96/softclt で入手できます。

要約(オリジナル)

Contrastive learning has shown to be effective to learn representations from time series in a self-supervised way. However, contrasting similar time series instances or values from adjacent timestamps within a time series leads to ignore their inherent correlations, which results in deteriorating the quality of learned representations. To address this issue, we propose SoftCLT, a simple yet effective soft contrastive learning strategy for time series. This is achieved by introducing instance-wise and temporal contrastive loss with soft assignments ranging from zero to one. Specifically, we define soft assignments for 1) instance-wise contrastive loss by the distance between time series on the data space, and 2) temporal contrastive loss by the difference of timestamps. SoftCLT is a plug-and-play method for time series contrastive learning that improves the quality of learned representations without bells and whistles. In experiments, we demonstrate that SoftCLT consistently improves the performance in various downstream tasks including classification, semi-supervised learning, transfer learning, and anomaly detection, showing state-of-the-art performance. Code is available at this repository: https://github.com/seunghan96/softclt.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google