TimesBERT: A BERT-Style Foundation Model for Time Series Understanding

要約

時系列分析は、多様なシナリオで重要です。
予測を超えて、かなりの現実世界のタスクが分類、代入、および異常検出に分類され、このペーパーでは時系列の理解と呼ばれるさまざまな機能を強調しています。
GPTスタイルのモデルは時系列予測の基礎モデルとして位置付けられていますが、自然言語の理解に大きな進歩を遂げたBertスタイルのアーキテクチャは、BERTの必須要素の望ましくないドロップアウトに起因する時系列理解のために完全にロック解除されていません。
このペーパーでは、多変量時系列と多重発電ドキュメントの間の共有マルチ粒度構造に触発されたこのペーパーでは、時間系列や多様な中心の特性を含む時系列の一般的な表現を学ぶためにTimesbertを設計します。
マスクモデリングの自然な適応に加えて、重要な多粒度構造を具体化するための機能トークン予測の並行タスクを提案します。
私たちのモデルは、多様なドメインにわたる2,600億の時点で事前に訓練されています。
マルチガラニティ表現を活用するTimesbertは、4つの典型的なダウンストリーム理解タスクにわたって最先端のパフォーマンスを達成し、タスク固有のモデルと言語の事前訓練を受けたバックボーンを上回り、時系列の理解のための多用途の基礎モデルとして配置します。

要約(オリジナル)

Time series analysis is crucial in diverse scenarios. Beyond forecasting, considerable real-world tasks are categorized into classification, imputation, and anomaly detection, underscoring different capabilities termed time series understanding in this paper. While GPT-style models have been positioned as foundation models for time series forecasting, the BERT-style architecture, which has made significant advances in natural language understanding, has not been fully unlocked for time series understanding, possibly attributed to the undesirable dropout of essential elements of BERT. In this paper, inspired by the shared multi-granularity structure between multivariate time series and multisentence documents, we design TimesBERT to learn generic representations of time series including temporal patterns and variate-centric characteristics. In addition to a natural adaptation of masked modeling, we propose a parallel task of functional token prediction to embody vital multi-granularity structures. Our model is pre-trained on 260 billion time points across diverse domains. Leveraging multi-granularity representations, TimesBERT achieves state-of-the-art performance across four typical downstream understanding tasks, outperforming task-specific models and language pre-trained backbones, positioning it as a versatile foundation model for time series understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google