Guidelines for Augmentation Selection in Contrastive Learning for Time Series Classification

要約

自己教師あり対比学習は、明示的な教師なしで意味のある表現を学習できるため、深層学習、特に時系列分析の重要な手法となっています。
拡張は対照学習において重要なコンポーネントであり、さまざまな拡張がパフォーマンスに劇的な影響を及ぼし、場合によっては精度に 30% 以上影響を与える可能性があります。
ただし、拡張の選択は主に経験に基づいて行われるため、最適ではない場合や、グリッド検索に時間がかかる場合があります。
このペーパーでは、傾向や季節性などのデータセットの特性に基づいて拡張を選択するための原則的なフレームワークを確立します。
具体的には、傾向、季節性、統合の重みを組み込んだ 12 の合成データセットを構築します。
次に、これらの合成データセット全体で 8 つの異なる拡張の有効性を評価し、それによって時系列特性と拡張効率の間の一般化可能な関連性を導き出します。
さらに、活動認識、病気の診断、交通監視、電力使用量、機械的故障の予後、財務などの領域を含む 6 つの現実世界のデータセットにわたって誘発された関連性を評価しました。
これらの実世界のデータセットは多様で、1 ～ 12 チャネル、2 ～ 10 クラス、シーケンス長 14 ～ 1280、およびデータ周波数 250 Hz から日間隔までの範囲をカバーしています。
実験結果は、私たちが提案したトレンド季節性に基づく拡張推奨アルゴリズムが、特定の時系列データセットに対して効果的な拡張を正確に特定でき、平均 Recall@3 0.667 を達成し、ベースラインを上回るパフォーマンスを示していることを示しています。
私たちの研究は、時系列分析における対照学習を採用した研究の指針を提供し、幅広い応用が可能です。
すべてのコード、データセット、分析結果は https://github.com/DL4mHealth/TS-Contrastive-Augmentation-Recommendation で公開されます。

要約(オリジナル)

Self-supervised contrastive learning has become a key technique in deep learning, particularly in time series analysis, due to its ability to learn meaningful representations without explicit supervision. Augmentation is a critical component in contrastive learning, where different augmentations can dramatically impact performance, sometimes influencing accuracy by over 30%. However, the selection of augmentations is predominantly empirical which can be suboptimal, or grid searching that is time-consuming. In this paper, we establish a principled framework for selecting augmentations based on dataset characteristics such as trend and seasonality. Specifically, we construct 12 synthetic datasets incorporating trend, seasonality, and integration weights. We then evaluate the effectiveness of 8 different augmentations across these synthetic datasets, thereby inducing generalizable associations between time series characteristics and augmentation efficiency. Additionally, we evaluated the induced associations across 6 real-world datasets encompassing domains such as activity recognition, disease diagnosis, traffic monitoring, electricity usage, mechanical fault prognosis, and finance. These real-world datasets are diverse, covering a range from 1 to 12 channels, 2 to 10 classes, sequence lengths of 14 to 1280, and data frequencies from 250 Hz to daily intervals. The experimental results show that our proposed trend-seasonality-based augmentation recommendation algorithm can accurately identify the effective augmentations for a given time series dataset, achieving an average Recall@3 of 0.667, outperforming baselines. Our work provides guidance for studies employing contrastive learning in time series analysis, with wide-ranging applications. All the code, datasets, and analysis results will be released at https://github.com/DL4mHealth/TS-Contrastive-Augmentation-Recommendation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google