A Constraint Enforcement Deep Reinforcement Learning Framework for Optimal Energy Storage Systems Dispatch

要約

エネルギー貯蔵システム (ESS) の最適な供給には、動的な価格、需要消費、および再生可能エネルギー生成の変動によってもたらされる不確実性により、大きな課題が生じます。
ディープ ニューラル ネットワーク (DNN) の一般化機能を活用することで、深層強化学習 (DRL) アルゴリズムは、配電ネットワークの確率的性質に適応的に応答する高品質の制御モデルを学習できます。
ただし、現在の DRL アルゴリズムには、運用上の制約を厳密に強制する機能が欠けており、多くの場合、実行不可能な制御アクションを提供することさえあります。
この問題に対処するために、オンライン操作中の環境とアクション スペースの運用上の制約を厳密に強化しながら、継続的なアクション スペースを効果的に処理する DRL フレームワークを提案します。
まず、提案されたフレームワークは、DNN を使用してモデル化されたアクション価値関数をトレーニングします。
その後、このアクション値関数は混合整数計画法 (MIP) 形式として定式化され、環境の操作上の制約を考慮できるようになります。
包括的な数値シミュレーションは、提案された MIP-DRL フレームワークの優れたパフォーマンスを示し、最先端の DRL アルゴリズムや確率的予測の完全な予測によって得られる最適なソリューションと比較して、高品質のディスパッチ決定を提供しながら、すべての制約を効果的に適用します。
変数。

要約(オリジナル)

The optimal dispatch of energy storage systems (ESSs) presents formidable challenges due to the uncertainty introduced by fluctuations in dynamic prices, demand consumption, and renewable-based energy generation. By exploiting the generalization capabilities of deep neural networks (DNNs), deep reinforcement learning (DRL) algorithms can learn good-quality control models that adaptively respond to distribution networks’ stochastic nature. However, current DRL algorithms lack the capabilities to enforce operational constraints strictly, often even providing unfeasible control actions. To address this issue, we propose a DRL framework that effectively handles continuous action spaces while strictly enforcing the environments and action space operational constraints during online operation. Firstly, the proposed framework trains an action-value function modeled using DNNs. Subsequently, this action-value function is formulated as a mixed-integer programming (MIP) formulation enabling the consideration of the environment’s operational constraints. Comprehensive numerical simulations show the superior performance of the proposed MIP-DRL framework, effectively enforcing all constraints while delivering high-quality dispatch decisions when compared with state-of-the-art DRL algorithms and the optimal solution obtained with a perfect forecast of the stochastic variables.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google