Self-Supervised Time Series Representation Learning via Cross Reconstruction Transformer

要約

現実世界のシナリオでは通常、ラベル付きサンプルが不足しているため、時系列での教師なし/自己教師あり表現学習が重要です。
既存のアプローチは主に対照学習フレームワークを活用しており、類似したデータのペアと類似していないデータのペアを理解する方法を自動的に学習します。
それにもかかわらず、それらは、ペアの構築、面倒なサンプリング ポリシー、およびサンプリング バイアスに遭遇したときの不安定なパフォーマンスに関する事前知識に制限されています。
また、表現の能力を拡張するために、時間とスペクトルの関係全体を効果的にモデル化することに焦点を当てた研究はほとんどありません。
本論文では、新たな視点から時系列表現を学習することを目的とし、上記の問題を統一的に解決するCross Reconstruction Transformer（CRT）を提案する。
CRT は、クロスドメインのドロップ再構成タスクを通じて時系列表現の学習を実現します。
具体的には、時系列を周波数領域に変換し、時間領域と周波数領域の両方で特定の部分をランダムに削除します。
ドロップは、トリミングやマスキングと比較して、グローバル コンテキストを最大限に保存できます。
次に、トランスフォーマー アーキテクチャを利用して、時間情報とスペクトル情報の間のクロスドメイン相関を、両方のドメインのデータを再構築することで適切に捕捉します。これは、ドロップ時間スペクトル モデリングと呼ばれます。
大域的な潜在空間の表現を区別するために、異なる時系列間の相互情報を削減し、決定境界を鮮明にするインスタンス識別制約を提案します。
さらに、CRT を最適化するための特定のカリキュラム学習戦略を提案します。これにより、トレーニング プロセスでのドロップ率が徐々に増加します。

要約(オリジナル)

Unsupervised/self-supervised representation learning in time series is critical since labeled samples are usually scarce in real-world scenarios. Existing approaches mainly leverage the contrastive learning framework, which automatically learns to understand the similar and dissimilar data pairs. Nevertheless, they are restricted to the prior knowledge of constructing pairs, cumbersome sampling policy, and unstable performances when encountering sampling bias. Also, few works have focused on effectively modeling across temporal-spectral relations to extend the capacity of representations. In this paper, we aim at learning representations for time series from a new perspective and propose Cross Reconstruction Transformer (CRT) to solve the aforementioned problems in a unified way. CRT achieves time series representation learning through a cross-domain dropping-reconstruction task. Specifically, we transform time series into the frequency domain and randomly drop certain parts in both time and frequency domains. Dropping can maximally preserve the global context compared to cropping and masking. Then a transformer architecture is utilized to adequately capture the cross-domain correlations between temporal and spectral information through reconstructing data in both domains, which is called Dropped Temporal-Spectral Modeling. To discriminate the representations in global latent space, we propose Instance Discrimination Constraint to reduce the mutual information between different time series and sharpen the decision boundaries. Additionally, we propose a specified curriculum learning strategy to optimize the CRT, which progressively increases the dropping ratio in the training process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google