A Multiobjective Reinforcement Learning Framework for Microgrid Energy Management

要約

マイクログリッド（MG）の出現は、電力網の脱炭素化と分散化に有望なソリューションを提供し、気候変動によってもたらされる課題を軽減します。
ただし、MG の運営では、さまざまな利害関係者の利益を代表する複数の目的を考慮することが多く、複雑な対立が生じる可能性があります。
この問題に取り組むために、私たちは高次元の目的空間を探索し、矛盾する目的間のトレードオフを明らかにする、新しい多目的強化学習フレームワークを提案します。
このフレームワークは外部情報を活用し、強化学習のデータ駆動型の性質を活用し、長期的な予測や基礎となる不確実性分布の知識を必要とせずにパラメトリック ポリシーのトレーニングを可能にします。
トレーニングされたポリシーは、多様で適応的かつ協調的な動作を示し、情報使用のダイナミクスについて解釈可能な洞察を提供するという追加の利点も備えています。
このフレームワークを熱と電力を組み合わせたMGであるコーネル大学MG（CU-MG）に適用し、その有効性を評価します。
結果は、現状の運用と比較して検討したすべての目標でパフォーマンスが向上していることを示しており、複雑な運用上のトレードオフをより柔軟に対処できるようになります。

要約(オリジナル)

The emergence of microgrids (MGs) has provided a promising solution for decarbonizing and decentralizing the power grid, mitigating the challenges posed by climate change. However, MG operations often involve considering multiple objectives that represent the interests of different stakeholders, leading to potentially complex conflicts. To tackle this issue, we propose a novel multi-objective reinforcement learning framework that explores the high-dimensional objective space and uncovers the tradeoffs between conflicting objectives. This framework leverages exogenous information and capitalizes on the data-driven nature of reinforcement learning, enabling the training of a parametric policy without the need for long-term forecasts or knowledge of the underlying uncertainty distribution. The trained policies exhibit diverse, adaptive, and coordinative behaviors with the added benefit of providing interpretable insights on the dynamics of their information use. We employ this framework on the Cornell University MG (CU-MG), which is a combined heat and power MG, to evaluate its effectiveness. The results demonstrate performance improvements in all objectives considered compared to the status quo operations and offer more flexibility in navigating complex operational tradeoffs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google