United We Pretrain, Divided We Fail! Representation Learning for Time Series by Pretraining on 75 Datasets at Once

要約

自然言語処理と視覚では、効果的な表現を学習するために事前トレーニングが利用されます。
残念ながら、ソースとターゲットの間に潜在的な不一致があるため、事前トレーニングの成功は簡単には時系列に引き継がれません。
実際には、複数のデータセットの事前トレーニングは時系列には機能しないというのが一般的な考えです。
これとは逆に、多くのラベルなしの多様な時系列データセットから 1 つのエンコーディングを学習するための新しい自己教師あり対比事前トレーニング アプローチを導入します。これにより、学習された 1 つの表現が、たとえば分類のために複数のターゲット ドメインで再利用できるようになります。
具体的には、XD-MixUp 補間法と Soft Interpolation Contextual Contrasting (SICC) 損失を提案します。
経験的に、これは、低データ領域で微調整する場合、教師ありトレーニングおよび他の自己教師あり事前トレーニング方法の両方よりも優れたパフォーマンスを発揮します。
これは、複数の時系列データセット (一度に 75 個からでも) から実際に学習できるという一般的な考えの誤りを証明します。

要約(オリジナル)

In natural language processing and vision, pretraining is utilized to learn effective representations. Unfortunately, the success of pretraining does not easily carry over to time series due to potential mismatch between sources and target. Actually, common belief is that multi-dataset pretraining does not work for time series! Au contraire, we introduce a new self-supervised contrastive pretraining approach to learn one encoding from many unlabeled and diverse time series datasets, so that the single learned representation can then be reused in several target domains for, say, classification. Specifically, we propose the XD-MixUp interpolation method and the Soft Interpolation Contextual Contrasting (SICC) loss. Empirically, this outperforms both supervised training and other self-supervised pretraining methods when finetuning on low-data regimes. This disproves the common belief: We can actually learn from multiple time series datasets, even from 75 at once.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google