Large Pre-trained time series models for cross-domain Time series analysis tasks

要約

大規模な事前トレーニング済みモデルは、言語や視覚などの分野における最近の進歩に不可欠であり、個々の下流タスクのモデル トレーニングをより効率的にし、優れたパフォーマンスを提供します。
ただし、時系列分析タスクに取り組むには、通常、トレーニング データとタスク固有のドメインの専門知識を活用して、別のモデルを最初から設計してトレーニングする必要があります。
私たちは、マルチドメイン時系列データセットから基礎時系列モデルを事前トレーニングするという重要な課題に取り組みます。それは、異なるドメインからの異種時系列にわたって、意味的に有用なトークン化された入力をモデルに抽出することです。
私たちは、事前トレーニング中に最適なデータセット固有のセグメンテーション戦略を自動的に特定する \textit{適応セグメンテーション} の新しい方法を導入する大規模事前トレーニング時系列モデル (LPTM) を提案します。
これにより、LPTM は、さまざまなダウンストリーム時系列分析タスクに合わせて微調整され、ゼロショット設定の下で、ドメイン固有の最先端モデルと同等またはそれ以上のパフォーマンスを発揮できるようになります。
LPTM は、最先端のベースラインと比較して最大 40% 少ないデータと 50% 少ないトレーニング時間で優れた予測および時系列分類結果を実現します。

要約(オリジナル)

Large pre-trained models have been vital in recent advancements in domains like language and vision, making model training for individual downstream tasks more efficient and provide superior performance. However, tackling time-series analysis tasks usually involves designing and training a separate model from scratch leveraging training data and domain expertise specific to the task. We tackle a significant challenge for pre-training a foundational time-series model from multi-domain time-series datasets: extracting semantically useful tokenized inputs to the model across heterogenous time-series from different domains. We propose Large Pre-trained Time-series Models (LPTM) that introduces a novel method of \textit{adaptive segmentation} that automatically identifies optimal dataset-specific segmentation strategy during pre-training. This enables LPTM to perform similar to or better than domain-specific state-of-art model when fine-tuned to different downstream time-series analysis tasks and under zero-shot settings. LPTM achieves superior forecasting and time-series classification results taking up to 40% less data and 50% less training time compared to state-of-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google