How to Use Reinforcement Learning to Facilitate Future Electricity Market Design? Part 1: A Paradigmatic Theory

要約

タイトル：強化学習を用いた将来の電力市場設計を促進する方法？パート1：パラダイム理論

要約：
– 再生可能エネルギーが高い浸透率を持つことに対応し、パワーセクターの脱炭素化の切迫したニーズに直面して、電力市場の再設計がマクロレベルのアプローチとして必要です。これは、電気システムの運用セキュリティ、経済効率、環境に優しいことを達成するためです。
– しかし、既存の市場設計方法論は、エネルギースポット市場（ESM）、補助サービス市場（ASM）、金融市場（FM）といった、 ‘ジョイントマーケット’の調整不足、および信頼性のないシミュレーションベースの検証の欠如に陥っています。
– これらの欠陥に対処するために、二部構成の論文が開発されており、強化学習（RL）ベースのシミュレーションを使用して、ジョイントマーケット設計のパラダイム理論と詳細な方法が提供されます。パート1では、この新しい市場設計哲学の理論と枠組みが提案されます。
– まず、ジョイントマーケットの設計中の論争を調和させる市場設計オプションが、目標とする研究質問として要約されます。次に、マルコフゲームモデルがジョイントマーケットの入札ゲームを説明するために開発され、決定される市場設計オプションが組み込まれます。
– 三つ目は、RLアルゴリズムの複数タイプを展開する枠組みが開発され、市場モデルをシミュレーションします。最後に、シミュレーション結果に基づいて市場設計を検証するためのいくつかの市場操作パフォーマンス指標が提案されます。

要約(オリジナル)

In face of the pressing need of decarbonization in the power sector, the re-design of electricity market is necessary as a Marco-level approach to accommodate the high penetration of renewable generations, and to achieve power system operation security, economic efficiency, and environmental friendliness. However, existing market design methodologies suffer from the lack of coordination among energy spot market (ESM), ancillary service market (ASM) and financial market (FM), i.e., the ‘joint market’, and the lack of reliable simulation-based verification. To tackle these deficiencies, this two-part paper develops a paradigmatic theory and detailed methods of the joint market design using reinforcement-learning (RL)-based simulation. In Part 1, the theory and framework of this novel market design philosophy are proposed. First, the controversial market design options while designing the joint market are summarized as the targeted research questions. Second, the Markov game model is developed to describe the bidding game in the joint market, incorporating the market design options to be determined. Third, a framework of deploying multiple types of RL algorithms to simulate the market model is developed. Finally, several market operation performance indicators are proposed to validate the market design based on the simulation results.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI