Managing power grids through topology actions: A comparative study between advanced rule-based and reinforcement learning agents

要約

タイトル：トポロジーアクションによる電力グリッドの管理：高度なルールベースと強化学習エージェントの比較研究

要約：

– 電力グリッド管理は、再生可能エネルギーの増加やその他の変動のために複雑化しており、従来の手法では限界がある。
– Learning to Run a Power Network Challengeのコンテキストで、強化学習が自動グリッド操作の効率的で信頼性の高いアプローチであることが示されている。
– 本論文では、Binbinchenから提出されたエージェントを分析し、RLおよびルールベースのアプローチの両方を改善するための新しい戦略を提供する。
– 最も重要な改善点は、グリッドの一部が解除されてもグリッドを安定させるトポロジーアクションを考慮するN-1戦略である。また、グリッドを元の状態に戻すトポロジーリバーションも提案される。
– 改善は、チャレンジテストセットでリファレンスアプローチと比較してテストされ、ルールベースエージェントのパフォーマンスを27％向上させることができる。
– ルールベースエージェントとRLエージェントの直接比較では似たようなパフォーマンスが得られるが、RLエージェントは明確な計算上の利点がある。
– また、具体的なケースでの振る舞いを詳しく分析して、N-1戦略によって、エージェントのアクションがより多様化することを観察する。

要約(オリジナル)

The operation of electricity grids has become increasingly complex due to the current upheaval and the increase in renewable energy production. As a consequence, active grid management is reaching its limits with conventional approaches. In the context of the Learning to Run a Power Network challenge, it has been shown that Reinforcement Learning (RL) is an efficient and reliable approach with considerable potential for automatic grid operation. In this article, we analyse the submitted agent from Binbinchen and provide novel strategies to improve the agent, both for the RL and the rule-based approach. The main improvement is a N-1 strategy, where we consider topology actions that keep the grid stable, even if one line is disconnected. More, we also propose a topology reversion to the original grid, which proved to be beneficial. The improvements are tested against reference approaches on the challenge test sets and are able to increase the performance of the rule-based agent by 27%. In direct comparison between rule-based and RL agent we find similar performance. However, the RL agent has a clear computational advantage. We also analyse the behaviour in an exemplary case in more detail to provide additional insights. Here, we observe that through the N-1 strategy, the actions of the agents become more diversified.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI