Decentralized Multi-agent Reinforcement Learning based State-of-Charge Balancing Strategy for Distributed Energy Storage System

要約

この論文では、分散型エネルギー貯蔵システム (DESS) における SoC 平衡化問題を解決するための分散型マルチエージェント強化学習 (Dec-MARL) 手法を開発します。
まず、SoC のバランス問題は、需要バランスから導出されるアクション制約を備えた有限マルコフ決定プロセスに定式化されます。これは Dec-MARL によって解決できます。
具体的には、一次平均コンセンサス アルゴリズムを利用して、完全に分散型の方法で DESS 状態の観察を拡張し、初期アクション (つまり、出力電力) がエージェント (つまり、エネルギー貯蔵ユニット) によって次に従って決定されます。
これらの観察。
最終アクションを許容範囲内に収めるために、総需要と初期アクションのバランスをとる反事実的な需要バランスアルゴリズムが提案されています。
次に、エージェントは最終アクションを実行して環境からローカル報酬を取得し、DESS は次の状態に進みます。
最後に、一次平均コンセンサス アルゴリズムを通じて、エージェントは平均報酬と、後のトレーニングのために消費された次の状態の観察を取得します。
上記の手順により、Dec-MARL は、専門的な経験や複雑なモデルを構築することなく、完全に分散化されたシステムで優れたパフォーマンスを示します。
さらに、柔軟性があり、他の分散マルチエージェント システムに直接拡張できます。
広範なシミュレーションにより、Dec-MARL の有効性と効率性が検証されました。

要約(オリジナル)

This paper develops a Decentralized Multi-Agent Reinforcement Learning (Dec-MARL) method to solve the SoC balancing problem in the distributed energy storage system (DESS). First, the SoC balancing problem is formulated into a finite Markov decision process with action constraints derived from demand balance, which can be solved by Dec-MARL. Specifically, the first-order average consensus algorithm is utilized to expand the observations of the DESS state in a fully-decentralized way, and the initial actions (i.e., output power) are decided by the agents (i.e., energy storage units) according to these observations. In order to get the final actions in the allowable range, a counterfactual demand balance algorithm is proposed to balance the total demand and the initial actions. Next, the agents execute the final actions and get local rewards from the environment, and the DESS steps into the next state. Finally, through the first-order average consensus algorithm, the agents get the average reward and the expended observation of the next state for later training. By the above procedure, Dec-MARL reveals outstanding performance in a fully-decentralized system without any expert experience or constructing any complicated model. Besides, it is flexible and can be extended to other decentralized multi-agent systems straightforwardly. Extensive simulations have validated the effectiveness and efficiency of Dec-MARL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google