Multi-Objective Reinforcement Learning for Power Grid Topology Control

要約

さまざまなセクターの電化には、より多くの電力を送信する必要があるため、トランスミッショングリッドの混雑が増加します。
トポロジー制御は、変電所の再構成を通じて、混雑を減らすことができますが、その可能性は操業において不足していないままです。
課題は、トポロジー制御の問題をモデル化して、オペレーターの目的と制約とうまく調和することです。
この課題に対処すると、このペーパーでは、電力グリッドトポロジーコントロールの複数の矛盾する目標を統合するための多目的補強学習（MORL）の適用を調査します。
深い楽観的な線形サポート（DOL）および多目的近位ポリシー最適化（MOPPO）を使用してMORLアプローチを開発し、ラインローディング、トポロジ逸脱、スイッチング周波数の最小化などの目標のバランスをとる一連のパレート最適なポリシーを生成します。
最初のケーススタディは、MORLアプローチが客観的なトレードオフに関する貴重な洞察を提供し、ランダム検索ベースラインと比較してパレートの前面近似を改善できることを示しています。
生成された多目的RLポリシーは、偶発事象の下でのグリッド障害の防止に30％成功し、トレーニング予算が削減されると20％が効果的になりました。

要約(オリジナル)

Transmission grid congestion increases as the electrification of various sectors requires transmitting more power. Topology control, through substation reconfiguration, can reduce congestion but its potential remains under-exploited in operations. A challenge is modeling the topology control problem to align well with the objectives and constraints of operators. Addressing this challenge, this paper investigates the application of multi-objective reinforcement learning (MORL) to integrate multiple conflicting objectives for power grid topology control. We develop a MORL approach using deep optimistic linear support (DOL) and multi-objective proximal policy optimization (MOPPO) to generate a set of Pareto-optimal policies that balance objectives such as minimizing line loading, topological deviation, and switching frequency. Initial case studies show that the MORL approach can provide valuable insights into objective trade-offs and improve Pareto front approximation compared to a random search baseline. The generated multi-objective RL policies are 30% more successful in preventing grid failure under contingencies and 20% more effective when training budget is reduced – compared to the common single objective RL policy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google