Approximating Energy Market Clearing and Bidding With Model-Based Reinforcement Learning

要約

エネルギー市場のルールは、市場参加者が市場と送電網に準拠した方法で行動するよう奨励する必要があります。
ただし、市場設計に欠陥がある場合、望ましくない予期せぬ戦略に対するインセンティブを与える可能性もあります。
マルチエージェント強化学習 (MARL) は、エネルギー市場参加者の期待される利益最大化行動をシミュレーションで予測するための有望な新しいアプローチです。
ただし、強化学習では収束するためにシステムとの多くの対話が必要であり、電力システム環境は多くの場合、市場清算のための最適電力流 (OPF) 計算などの大規模な計算で構成されます。
この複雑さに取り組むために、学習された OPF 近似と明示的な市場ルールの形式で、基本的な MARL アルゴリズムにエネルギー市場のモデルを提供します。
学習された OPF サロゲート モデルにより、OPF の明示的な解決は完全に不要になります。
私たちの実験では、このモデルによりトレーニング時間がさらに約 1 桁短縮されるものの、パフォーマンスがわずかに低下することが実証されました。
私たちの手法の潜在的な応用例は、市場設計、市場参加者のより現実的なモデリング、操作的行動の分析です。

要約(オリジナル)

Energy market rules should incentivize market participants to behave in a market and grid conform way. However, they can also provide incentives for undesired and unexpected strategies if the market design is flawed. Multi-agent Reinforcement learning (MARL) is a promising new approach to predicting the expected profit-maximizing behavior of energy market participants in simulation. However, reinforcement learning requires many interactions with the system to converge, and the power system environment often consists of extensive computations, e.g., optimal power flow (OPF) calculation for market clearing. To tackle this complexity, we provide a model of the energy market to a basic MARL algorithm in the form of a learned OPF approximation and explicit market rules. The learned OPF surrogate model makes an explicit solving of the OPF completely unnecessary. Our experiments demonstrate that the model additionally reduces training time by about one order of magnitude but at the cost of a slightly worse performance. Potential applications of our method are market design, more realistic modeling of market participants, and analysis of manipulative behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google