UniCL: A Universal Contrastive Learning Framework for Large Time Series Models

要約

時系列分析は、金融から医療に至るまで、予測や分類などのさまざまなタスクを含む、さまざまな重要なアプリケーションにわたって極めて重要な役割を果たします。
高次元性やノイズなど、時系列データに固有の複雑さを処理するために、従来の教師あり学習手法では、まず各タスクで時系列データに広範なラベルに注釈を付けますが、これは非常にコストがかかり、現実世界のアプリケーションでは非現実的です。
対照的に、事前トレーニングされた基礎モデルは、ラベルのないデータを活用して一般的な時系列パターンを取得し、特定のタスクに合わせて微調整できる、有望な代替手段を提供します。
ただし、このようなモデルを事前トレーニングする既存のアプローチは、事前定義された厳密な拡張操作とドメイン固有のデータ トレーニングを使用するため、通常、高いバイアスと低い一般性の問題に悩まされます。
これらの制限を克服するために、このペーパーでは、クロスドメイン データセットにわたる時系列基礎モデルを事前トレーニングするために設計された、汎用的でスケーラブルな対照学習フレームワークである UniCL を紹介します。
具体的には、スペクトル情報を活用して、パターンが保存された多様で低バイアスの時系列データを生成する、統合されたトレーニング可能な時系列拡張操作を提案します。
さらに、さまざまな長さのデータセットを処理できるスケーラブルな拡張アルゴリズムを導入し、クロスドメインの事前トレーニングを容易にします。
11 のドメインにわたる 2 つのベンチマーク データセットに対する広範な実験により UniCL の有効性が検証され、さまざまな分野にわたる時系列分析における UniCL の高い一般化が実証されました。

要約(オリジナル)

Time-series analysis plays a pivotal role across a range of critical applications, from finance to healthcare, which involves various tasks, such as forecasting and classification. To handle the inherent complexities of time-series data, such as high dimensionality and noise, traditional supervised learning methods first annotate extensive labels for time-series data in each task, which is very costly and impractical in real-world applications. In contrast, pre-trained foundation models offer a promising alternative by leveraging unlabeled data to capture general time series patterns, which can then be fine-tuned for specific tasks. However, existing approaches to pre-training such models typically suffer from high-bias and low-generality issues due to the use of predefined and rigid augmentation operations and domain-specific data training. To overcome these limitations, this paper introduces UniCL, a universal and scalable contrastive learning framework designed for pretraining time-series foundation models across cross-domain datasets. Specifically, we propose a unified and trainable time-series augmentation operation to generate pattern-preserved, diverse, and low-bias time-series data by leveraging spectral information. Besides, we introduce a scalable augmentation algorithm capable of handling datasets with varying lengths, facilitating cross-domain pretraining. Extensive experiments on two benchmark datasets across eleven domains validate the effectiveness of UniCL, demonstrating its high generalization on time-series analysis across various fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google