SeqFusion: Sequential Fusion of Pre-Trained Models for Zero-Shot Time-Series Forecasting

要約

トレーニングのために広範なタスク内データを必要とする従来の時系列予測方法とは異なり、ゼロショット予測は、追加のトレーニングデータなしでターゲットの時系列を考慮して将来の値を直接予測できます。
現在のゼロショットアプローチは、主に事前に訓練された一般化モデルに依存しており、そのパフォーマンスは多くの場合、トレーニング前のデータの多様性と関連性に応じて、プライバシーの懸念を引き起こす可能性があります。
多様なトレーニング前のデータを収集する代わりに、この作業でseqfusionを導入します。これは、ゼロショット予測のために、多様な事前訓練モデル（PTM）を順次収集および融合する新しいフレームワークです。
ターゲット時系列の特定の時間的特性に基づいて、SeqFusionは、事前に収集されたPTMのバッチから最も適切なPTMを選択し、シーケンシャル予測を実行し、プライバシーを保護するために最小データを使用しながらすべての予測を融合します。
これらのPTMはそれぞれ、さまざまな時間パターンと予測タスクを専門としているため、各PTMでターゲット時系列の共有表現スペースの距離を測定することにより、選択できるようになります。
実験は、Seqfusionが最先端の方法と比較してゼロショット予測の競争精度を達成することを示しています。

要約(オリジナル)

Unlike traditional time-series forecasting methods that require extensive in-task data for training, zero-shot forecasting can directly predict future values given a target time series without additional training data. Current zero-shot approaches primarily rely on pre-trained generalized models, with their performance often depending on the variety and relevance of the pre-training data, which can raise privacy concerns. Instead of collecting diverse pre-training data, we introduce SeqFusion in this work, a novel framework that collects and fuses diverse pre-trained models (PTMs) sequentially for zero-shot forecasting. Based on the specific temporal characteristics of the target time series, SeqFusion selects the most suitable PTMs from a batch of pre-collected PTMs, performs sequential predictions, and fuses all the predictions while using minimal data to protect privacy. Each of these PTMs specializes in different temporal patterns and forecasting tasks, allowing SeqFusion to select by measuring distances in a shared representation space of the target time series with each PTM. Experiments demonstrate that SeqFusion achieves competitive accuracy in zero-shot forecasting compared to state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google