Graph-Enhanced Model-Free Reinforcement Learning Agents for Efficient Power Grid Topological Control

要約

電力装置の出現とよりクリーンなエネルギーソリューションの需要によって推進される電力網状管理の複雑さの増加は、安定性と効率を確保するために革新的なアプローチを必要としています。
このペーパーでは、事前の専門知識なしにパワーネットワーク運用を最適化することを目的とした、強化学習のモデルフリーフレームワーク内の新しいアプローチを紹介します。
マスクされたトポロジカルアクションスペースを導入し、エージェントが適切なアクションを選択するためのガイドとして状態ロジックを使用して信頼できるサービスを維持しながら、コスト削減のための多様な戦略を探求できるようにします。
シミュレートされた5つのスブステーション環境での20の異なるシナリオにわたる広範な実験を通じて、私たちのアプローチが潜在的な停電に対するグリッドの安定性を確保しながら、電力損失の一貫した削減を達成することを実証します。
結果は、動的な観察の形式化を相手ベースのトレーニングと組み合わせることの有効性を強調し、現代のエネルギーシステムにおける自律的な管理ソ​​リューション、またはこの分野の基礎モデルを構築するための実行可能な方法を示しています。

要約(オリジナル)

The increasing complexity of power grid management, driven by the emergence of prosumers and the demand for cleaner energy solutions, has needed innovative approaches to ensure stability and efficiency. This paper presents a novel approach within the model-free framework of reinforcement learning, aimed at optimizing power network operations without prior expert knowledge. We introduce a masked topological action space, enabling agents to explore diverse strategies for cost reduction while maintaining reliable service using the state logic as a guide for choosing proper actions. Through extensive experimentation across 20 different scenarios in a simulated 5-substation environment, we demonstrate that our approach achieves a consistent reduction in power losses, while ensuring grid stability against potential blackouts. The results underscore the effectiveness of combining dynamic observation formalization with opponent-based training, showing a viable way for autonomous management solutions in modern energy systems or even for building a foundational model for this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google