Learning the Optimal Power Flow: Environment Design Matters

要約

最適電力流 (OPF) 問題を解決するために、強化学習 (RL) が有望な新しいアプローチとして浮上しています。
ただし、RL-OPF の文献では、OPF 問題を RL 環境として正確に定式化することに関して大きく意見が分かれています。
この作業では、トレーニング データ、観察空間、エピソード定義、報酬関数の選択に関する文献からさまざまな環境設計の決定を収集して実装します。
実験分析では、これらの環境設計オプションが RL-OPF トレーニングのパフォーマンスに大きな影響を与えることを示しています。
さらに、これらの設計上の決定の選択に関する最初の推奨事項をいくつか導き出します。
作成された環境フレームワークは完全にオープンソースであり、RL-OPF 分野における将来の研究のベンチマークとして機能します。

要約(オリジナル)

To solve the optimal power flow (OPF) problem, reinforcement learning (RL) emerges as a promising new approach. However, the RL-OPF literature is strongly divided regarding the exact formulation of the OPF problem as an RL environment. In this work, we collect and implement diverse environment design decisions from the literature regarding training data, observation space, episode definition, and reward function choice. In an experimental analysis, we show the significant impact of these environment design options on RL-OPF training performance. Further, we derive some first recommendations regarding the choice of these design decisions. The created environment framework is fully open-source and can serve as a benchmark for future research in the RL-OPF field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google