ForecastPFN: Synthetically-Trained Zero-Shot Forecasting

要約

時系列予測アプローチの大半は、かなりの量のトレーニング・データセットを必要とする。しかし、現実の予測アプリケーションの多くは、初期観測値が非常に少なく、時には40個以下しかないこともある。従って、ほとんどの予測手法は、データが乏しい商用アプリケーションでは適用が制限される。非常に限られた初期データ（いわゆる「ゼロショット」予測）の設定における最近の研究はあるが、その性能は事前学習に使われるデータによって一貫していない。本研究では、異なるアプローチを取り、純粋に新しい合成データ分布に基づいて訓練された最初のゼロショット予測モデルであるForecastPFNを考案する。ForecastPFNは、ベイズ推論を近似するように訓練された事前データに適合したネットワークであり、1回のフォワードパスで新しい時系列データセットに対する予測を行うことができる。広範な実験を通じて、ForecastPFNが行うゼロショット予測は、他の予測手法が何百もの追加的な分布内データポイントで訓練することを許された場合でも、最新の予測手法と比較してより正確で高速であることを示す。

要約(オリジナル)

The vast majority of time-series forecasting approaches require a substantial training dataset. However, many real-life forecasting applications have very little initial observations, sometimes just 40 or fewer. Thus, the applicability of most forecasting methods is restricted in data-sparse commercial applications. While there is recent work in the setting of very limited initial data (so-called `zero-shot’ forecasting), its performance is inconsistent depending on the data used for pretraining. In this work, we take a different approach and devise ForecastPFN, the first zero-shot forecasting model trained purely on a novel synthetic data distribution. ForecastPFN is a prior-data fitted network, trained to approximate Bayesian inference, which can make predictions on a new time series dataset in a single forward pass. Through extensive experiments, we show that zero-shot predictions made by ForecastPFN are more accurate and faster compared to state-of-the-art forecasting methods, even when the other methods are allowed to train on hundreds of additional in-distribution data points.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL