Differential Evolution Algorithm based Hyper-Parameters Selection of Transformer Neural Network Model for Load Forecasting

要約

正確な負荷予測は多くの分野で重要な役割を果たしていますが、動的電力システムの複雑なダイナミクスを正確に把握することは、従来の統計モデルにとって依然として課題です。
これらの理由から、時系列モデル (ARIMA) と深層学習モデル (ANN、LSTM、GRU など) が一般的に導入され、高い成功を収めることがよくあります。
この論文では、負荷予測における最近開発されたトランスフォーマーベースのニューラル ネットワーク モデルの有効性を分析します。
Transformer モデルは、アテンション メカニズムから派生した長距離の依存関係を学習できるため、負荷予測を改善する可能性があります。
私たちは、微分進化といういくつかのメタヒューリスティックを適用して、トランスフォーマーベースのニューラル ネットワークの最適なハイパーパラメーターを見つけて、正確な予測を生成します。
Differential Evolution は、微分不可能、多目的、または制約付きの最適化問題に対して、スケーラブルで堅牢なグローバル ソリューションを提供します。
私たちの研究では、さまざまなメタヒューリスティック アルゴリズムと統合された提案された Transformer ベースのニューラル ネットワーク モデルを、平均二乗誤差 (MSE) や平均絶対パーセント誤差 (MAPE) などの数値メトリクスに基づく負荷予測のパフォーマンスによって比較しています。
私たちの調査結果は、メタヒューリスティックで強化された Transformer ベースのニューラル ネットワーク モデルの負荷予測精度の可能性を実証し、各モデルに最適なハイパーパラメーターを提供します。

要約(オリジナル)

Accurate load forecasting plays a vital role in numerous sectors, but accurately capturing the complex dynamics of dynamic power systems remains a challenge for traditional statistical models. For these reasons, time-series models (ARIMA) and deep-learning models (ANN, LSTM, GRU, etc.) are commonly deployed and often experience higher success. In this paper, we analyze the efficacy of the recently developed Transformer-based Neural Network model in Load forecasting. Transformer models have the potential to improve Load forecasting because of their ability to learn long-range dependencies derived from their Attention Mechanism. We apply several metaheuristics namely Differential Evolution to find the optimal hyperparameters of the Transformer-based Neural Network to produce accurate forecasts. Differential Evolution provides scalable, robust, global solutions to non-differentiable, multi-objective, or constrained optimization problems. Our work compares the proposed Transformer based Neural Network model integrated with different metaheuristic algorithms by their performance in Load forecasting based on numerical metrics such as Mean Squared Error (MSE) and Mean Absolute Percentage Error (MAPE). Our findings demonstrate the potential of metaheuristic-enhanced Transformer-based Neural Network models in Load forecasting accuracy and provide optimal hyperparameters for each model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google