Transformer Training Strategies for Forecasting Multiple Load Time Series

要約

将来のスマート グリッドでは、個々のクライアント レベルでの正確な負荷予測が、ローカルでの需要と供給のバランスをとり、グリッドの停止を防ぐのに役立ちます。
スマート メーターの展開が進むにつれて監視対象のクライアントの数は増加しますが、クライアントあたりのデータ量は常に制限されます。
Transformer の負荷予測モデルが、グローバルな単変量モデルが複数のクライアントからの負荷時系列でトレーニングされる転移学習戦略から恩恵を受けるかどうかを評価します。
数百のクライアントからの負荷時系列を含む 2 つのデータセットを使用した実験では、グローバル トレーニング戦略が関連作業で使用される多変量トレーニング戦略やローカル トレーニング戦略よりも優れていることがわかりました。
平均して、グローバル トレーニング戦略は、1 日から 1 か月先までの予測期間全体で測定した場合、他の 2 つの戦略よりも予測誤差が 21.8% および 12.8% 低くなっています。
線形モデル、多層パーセプトロン、LSTM と比較すると、トランスフォーマーがグローバル トレーニング戦略でトレーニングされた場合、負荷予測に効果的であることがわかります。

要約(オリジナル)

In the smart grid of the future, accurate load forecasts on the level of individual clients can help to balance supply and demand locally and to prevent grid outages. While the number of monitored clients will increase with the ongoing smart meter rollout, the amount of data per client will always be limited. We evaluate whether a Transformer load forecasting model benefits from a transfer learning strategy, where a global univariate model is trained on the load time series from multiple clients. In experiments with two datasets containing load time series from several hundred clients, we find that the global training strategy is superior to the multivariate and local training strategies used in related work. On average, the global training strategy results in 21.8% and 12.8% lower forecasting errors than the two other strategies, measured across forecasting horizons from one day to one month into the future. A comparison to linear models, multi-layer perceptrons and LSTMs shows that Transformers are effective for load forecasting when they are trained with the global training strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google