Time Series Contrastive Learning with Information-Aware Augmentations

要約

近年、さまざまな対照的な学習アプローチが提案され、重要な経験的成功を収めています。
対照的学習は効果的で普及していますが、時系列データについてはあまり調査されていません。
対照学習の重要な要素は、適切な拡張を選択して、実行可能なポジティブ サンプルを構築するためにいくつかの事前確率を課すことです。これにより、堅牢で識別可能な表現を学習するようにエンコーダーをトレーニングできます。
「望ましい」拡張サンプルが事前に作成された人間の事前確率によって導かれる経験則で生成できる画像および言語ドメインとは異なり、時系列拡張のアドホックな手動選択は、それらの多様で人間が認識できない時間構造によって妨げられます。
特定の対照的な学習タスクとデータセットにとって意味のある時系列データの望ましい拡張を見つける方法は、未解決の問題のままです。
この作業では、情報理論に基づいて高い \textit{fidelity} と \textit{variety} の両方を奨励することで問題に対処します。
理論的分析は、実行可能なデータ拡張を選択するための基準につながります。
その上で、時系列表現学習に最適な拡張を適応的に選択する、情報認識拡張、InfoTS を使用した新しい対照的な学習アプローチを提案します。
さまざまなデータセットでの実験では、予測タスクで MSE が最大 12.0\% 削減され、主要なベースラインよりも分類タスクで精度が最大 3.7\% 向上するなど、非常に競争力のあるパフォーマンスが示されています。

要約(オリジナル)

Various contrastive learning approaches have been proposed in recent years and achieve significant empirical success. While effective and prevalent, contrastive learning has been less explored for time series data. A key component of contrastive learning is to select appropriate augmentations imposing some priors to construct feasible positive samples, such that an encoder can be trained to learn robust and discriminative representations. Unlike image and language domains where “desired” augmented samples can be generated with the rule of thumb guided by prefabricated human priors, the ad-hoc manual selection of time series augmentations is hindered by their diverse and human-unrecognizable temporal structures. How to find the desired augmentations of time series data that are meaningful for given contrastive learning tasks and datasets remains an open question. In this work, we address the problem by encouraging both high \textit{fidelity} and \textit{variety} based upon information theory. A theoretical analysis leads to the criteria for selecting feasible data augmentations. On top of that, we propose a new contrastive learning approach with information-aware augmentations, InfoTS, that adaptively selects optimal augmentations for time series representation learning. Experiments on various datasets show highly competitive performance with up to 12.0\% reduction in MSE on forecasting tasks and up to 3.7\% relative improvement in accuracy on classification tasks over the leading baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google