A Scalable Network-Aware Multi-Agent Reinforcement Learning Framework for Decentralized Inverter-based Voltage Control

要約

この文書では、分散型電源 (DG) の増加に伴う電力網における分散型電圧制御に関連する課題について取り上げます。
従来のモデルベースの電圧制御方法は、これらの DG の急速なエネルギー変動と不確実性に対処するのが困難でした。
マルチエージェント強化学習 (MARL) は分散型二次制御の可能性を示していますが、多数の DG を扱う場合にはスケーラビリティの問題が発生します。
この問題は、批評家がグローバルな観察と行動をとっている支配的な集中トレーニングと分散実行 (CTDE) フレームワークにあります。
これらの課題を克服するために、ネットワーク構造を利用して批評家の Q 関数への入力を切り詰め、それによってスケーラビリティを向上させ、トレーニング中の通信コストを削減する、スケーラブルなネットワーク認識 (SNA) フレームワークを提案します。
さらに、SNA フレームワークは理論的には証明可能な近似保証に基づいており、複数のマルチエージェント アクター – クリティカル アルゴリズムとシームレスに統合できます。
提案された SNA フレームワークは 114 個の DG を備えたシステムで実証され、ますます複雑化する電力網システムにおける分散型電圧制御に有望なソリューションを提供します。

要約(オリジナル)

This paper addresses the challenges associated with decentralized voltage control in power grids due to an increase in distributed generations (DGs). Traditional model-based voltage control methods struggle with the rapid energy fluctuations and uncertainties of these DGs. While multi-agent reinforcement learning (MARL) has shown potential for decentralized secondary control, scalability issues arise when dealing with a large number of DGs. This problem lies in the dominant centralized training and decentralized execution (CTDE) framework, where the critics take global observations and actions. To overcome these challenges, we propose a scalable network-aware (SNA) framework that leverages network structure to truncate the input to the critic’s Q-function, thereby improving scalability and reducing communication costs during training. Further, the SNA framework is theoretically grounded with provable approximation guarantee, and it can seamlessly integrate with multiple multi-agent actor-critic algorithms. The proposed SNA framework is successfully demonstrated in a system with 114 DGs, providing a promising solution for decentralized voltage control in increasingly complex power grid systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google