Automated Contrastive Learning Strategy Search for Time Series

要約

近年、対照学習 (CL) が時系列の主要な表現学習パラダイムとなっています。
既存の手法のほとんどは、特定のデータセットやタスクに対して人間のヒューリスティックによって特定の CL 戦略 (CLS) を手動で構築します。
ただし、CLS を手動で開発するには、通常、データに関する過剰な事前知識と、詳細な CL 構成を決定するための大規模な実験が必要です。
このペーパーでは、時系列データセットとタスクの CLS を自動的に学習する Microsoft の自動機械学習 (AutoML) 実践、つまり自動対照学習 (AutoCL) を紹介します。
まず、データ拡張、埋め込み変換、対比ペア構築、対比損失をカバーする、$3\times10^{12}$ を超えるサイズの原則に基づいた検索空間を構築します。
さらに、空間内で効果的な CLS を取得するために、検証タスクのパフォーマンスから CLS を最適化する効率的な強化学習アルゴリズムを導入します。
現実世界のさまざまなデータセットでの実験結果は、AutoCL が特定のデータセットとタスクに適した CLS を自動的に見つけられることを示しています。
いくつかの公開データセット/タスクで AutoCL によって見つかった候補 CLS から、他のデータセットに対して優れたパフォーマンスを発揮する、転送可能な General Good Strategy (GGS) を作成します。
また、CLS の将来設計のガイドとして実証分析も提供します。

要約(オリジナル)

In recent years, Contrastive Learning (CL) has become a predominant representation learning paradigm for time series. Most existing methods manually build specific CL Strategies (CLS) by human heuristics for certain datasets and tasks. However, manually developing CLS usually requires excessive prior knowledge about the data, and massive experiments to determine the detailed CL configurations. In this paper, we present an Automated Machine Learning (AutoML) practice at Microsoft, which automatically learns CLS for time series datasets and tasks, namely Automated Contrastive Learning (AutoCL). We first construct a principled search space of size over $3\times10^{12}$, covering data augmentation, embedding transformation, contrastive pair construction, and contrastive losses. Further, we introduce an efficient reinforcement learning algorithm, which optimizes CLS from the performance on the validation tasks, to obtain effective CLS within the space. Experimental results on various real-world datasets demonstrate that AutoCL could automatically find the suitable CLS for the given dataset and task. From the candidate CLS found by AutoCL on several public datasets/tasks, we compose a transferable Generally Good Strategy (GGS), which has a strong performance for other datasets. We also provide empirical analysis as a guide for the future design of CLS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google