In-Context Fine-Tuning for Time-Series Foundation Models

要約

ゼロショット予測のための時系列基礎モデルの最近の成功を動機として、時系列基礎モデルの $\textit{コンテキスト内微調整}$ のための方法論を紹介します。
特に、将来のターゲット時系列を予測するために、(推論時に) 複数の時系列の例を使用してプロンプトを表示できる、事前トレーニングされた基礎モデルを設計します。
私たちの基礎モデルは、コンテキスト ウィンドウで (ターゲット時系列の履歴に加えて) 複数の関連する時系列の例を利用するように特別にトレーニングされており、推論時にターゲット ドメインの特定の分布に適応できるようにします。
推論時にコンテキスト内サンプルを使用するこのような基礎モデルは、教師あり深層学習手法、統計モデル、その他の時系列基礎モデルと比較して、一般的な予測ベンチマークではるかに優れたパフォーマンスを得ることができることを示します。
興味深いことに、コンテキスト内での微調整アプローチは、ターゲット ドメインで明示的に微調整された基礎モデルのパフォーマンスに匹敵します。

要約(オリジナル)

Motivated by the recent success of time-series foundation models for zero-shot forecasting, we present a methodology for $\textit{in-context fine-tuning}$ of a time-series foundation model. In particular, we design a pretrained foundation model that can be prompted (at inference time) with multiple time-series examples, in order to forecast a target time-series into the future. Our foundation model is specifically trained to utilize examples from multiple related time-series in its context window (in addition to the history of the target time-series) to help it adapt to the specific distribution of the target domain at inference time. We show that such a foundation model that uses in-context examples at inference time can obtain much better performance on popular forecasting benchmarks compared to supervised deep learning methods, statistical models, as well as other time-series foundation models. Interestingly, our in-context fine-tuning approach even rivals the performance of a foundation model that is explicitly fine-tuned on the target domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google