Safety Constrained Multi-Agent Reinforcement Learning for Active Voltage Control

要約

アクティブ電圧制御は、屋根上太陽光発電のような電力ネットワーク内の分散制御可能な発電機を活用することで、電力輻輳を緩和し、電圧品質を向上させる有望な手段を提示する。マルチエージェント強化学習(MARL)は、この課題に対処するための説得力のあるアプローチとして登場したが、既存のMARLアプローチは、この問題の制約付き最適化の性質を見落とす傾向があり、安全制約の保証に失敗している。本論文では、アクティブ電圧制御問題を制約マルコフゲームとして定式化し、安全制約付きMARLアルゴリズムを提案する。原始二元最適化RL法をマルチエージェント設定に拡張し、方針を学習しラグランジュ乗数を更新するための二重安全性推定という新しいアプローチで補強する。さらに、我々は様々なコスト関数を提案し、それらが我々の制約付きMARL法の挙動に与える影響を調査した。実世界規模のシナリオを用いた配電網シミュレーション環境において、本アプローチを評価した。実験結果は、最新のMARL手法と比較して、提案手法の有効性を実証している。この論文は \url{https://www.ijcai.org/Proceedings/2024/} に掲載されています。

要約(オリジナル)

Active voltage control presents a promising avenue for relieving power congestion and enhancing voltage quality, taking advantage of the distributed controllable generators in the power network, such as roof-top photovoltaics. While Multi-Agent Reinforcement Learning (MARL) has emerged as a compelling approach to address this challenge, existing MARL approaches tend to overlook the constrained optimization nature of this problem, failing in guaranteeing safety constraints. In this paper, we formalize the active voltage control problem as a constrained Markov game and propose a safety-constrained MARL algorithm. We expand the primal-dual optimization RL method to multi-agent settings, and augment it with a novel approach of double safety estimation to learn the policy and to update the Lagrange-multiplier. In addition, we proposed different cost functions and investigated their influences on the behavior of our constrained MARL method. We evaluate our approach in the power distribution network simulation environment with real-world scale scenarios. Experimental results demonstrate the effectiveness of the proposed method compared with the state-of-the-art MARL methods. This paper is published at \url{https://www.ijcai.org/Proceedings/2024/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL