Distillation Enhanced Time Series Forecasting Network with Momentum Contrastive Learning

要約

対比表現学習は、データのノイズや不完全性、さらには監視信号のスパース性の問題を軽減するため、時系列分析において非常に重要です。
しかし、既存の対照的学習フレームワークは通常、時間内特徴に焦点を当てており、時系列データの複雑な性質を十分に活用できていません。
この問題に対処するために、私たちは長期時系列予測のための革新的な蒸留強化フレームワークである DE-TSMCL を提案します。
具体的には、最適化されたサブシーケンスを取得するためにタイムスタンプをマスクするかどうかを適応的に学習する学習可能なデータ拡張メカニズムを設計します。
次に、ラベルのない時系列の基礎となる構造特徴を学習するために、時系列のサンプル間および時間内相関を調査するための運動量更新を伴う対照学習タスクを提案します。
一方、より堅牢な表現を学習し、対比学習プロセスを促進する教師ありタスクを設計します。
最後に、上記の 2 つのタスクを共同で最適化します。
複数のタスクからモデル損失を開発することにより、下流の予測タスクの効果的な表現を学習できます。
最先端技術と比較した広範な実験により、DE-TSMCL の有効性が実証されており、最大改善率は 27.3% に達します。

要約(オリジナル)

Contrastive representation learning is crucial in time series analysis as it alleviates the issue of data noise and incompleteness as well as sparsity of supervision signal. However, existing constrastive learning frameworks usually focus on intral-temporal features, which fails to fully exploit the intricate nature of time series data. To address this issue, we propose DE-TSMCL, an innovative distillation enhanced framework for long sequence time series forecasting. Specifically, we design a learnable data augmentation mechanism which adaptively learns whether to mask a timestamp to obtain optimized sub-sequences. Then, we propose a contrastive learning task with momentum update to explore inter-sample and intra-temporal correlations of time series to learn the underlying structure feature on the unlabeled time series. Meanwhile, we design a supervised task to learn more robust representations and facilitate the contrastive learning process. Finally, we jointly optimize the above two tasks. By developing model loss from multiple tasks, we can learn effective representations for downstream forecasting task. Extensive experiments, in comparison with state-of-the-arts, well demonstrate the effectiveness of DE-TSMCL, where the maximum improvement can reach to 27.3%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google