Impact of HPO on AutoML Forecasting Ensembles

要約

ローカルおよびグローバル単変量予測の多様な推定量、特に MQ-CNN、DeepAR、Prophet、NPTS、ARIMA、ETS で構成される予測アンサンブルを使用して、さまざまな問題の予測を行うことができます。
このペーパーでは、このようなセットアップ (DeepAR および MQ-CNN) の深層学習モデルにさまざまなハイパーパラメーター最適化戦略を追加する側面を詳しく掘り下げ、追加のトレーニング コストとさまざまな構成での精度の向上との間のトレードオフを調査します。
このような設定では、ハイパーパラメータの最適化を追加するとパフォーマンスの向上につながる可能性があり、最終的な設定では、HPO なしのベースライン アンサンブルと比較して avg-wQL に関して精度が 9.9 % 向上し、最終精度が 65.8 % 向上したことが示されています。
– エンドまでのアンサンブル遅延。
この改善は、アンサンブル パイプラインとさまざまな調整戦略、つまりベイジアン最適化とハイパーバンド、およびそれらの戦略のさまざまな構成を組み合わせた経験的分析に基づいています。
最終的な構成では、アンサンブル学習と HPO の提案された組み合わせは、最先端の商用 AutoML 予測ソリューションである Amazon Forecast よりも優れており、誤差が 3.5 % 低く、エンドツーエンドのアンサンブル レイテンシが 16.0 % 低くなります。

要約(オリジナル)

A forecasting ensemble consisting of a diverse range of estimators for both local and global univariate forecasting, in particular MQ-CNN,DeepAR, Prophet, NPTS, ARIMA and ETS, can be used to make forecasts for a variety of problems. This paper delves into the aspect of adding different hyperparameter optimization strategies to the deep learning models in such a setup (DeepAR and MQ-CNN), exploring the trade-off between added training cost and the increase in accuracy for different configurations. It shows that in such a setup, adding hyperparameter optimization can lead to performance improvements, with the final setup having a 9.9 % percent accuracy improvement with respect to the avg-wQL over the baseline ensemble without HPO, accompanied by a 65.8 % increase in end-to-end ensemble latency. This improvement is based on an empirical analysis of combining the ensemble pipeline with different tuning strategies, namely Bayesian Optimisation and Hyperband and different configurations of those strategies. In the final configuration, the proposed combination of ensemble learning and HPO outperforms the state of the art commercial AutoML forecasting solution, Amazon Forecast, with a 3.5 % lower error and 16.0 % lower end-to-end ensemble latency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google