An adaptive safety layer with hard constraints for safe reinforcement learning in multi-energy management systems

要約

ハードな制約保証を持つ安全な強化学習（RL）は、マルチエネルギー管理システムのための有望な最適制御の方向性である。RLは、完全なモデル（プラント、外乱、ノイズモデル、プラントモデルに含まれない状態（需要予測、天候予測、価格予測など）の予測モデル）ではなく、環境固有の制約関数そのものを先験的に必要とするだけです。そのため、プロジェクト特有の先行投資や継続的なエンジニアリングの労力は軽減され、基礎となるシステムダイナミクスのより良い表現を学ぶことができ、モデリングの偏りは最小限に抑えられます（モデルベースの目的関数がない）。しかし、制約関数だけでも、事前に正確に提供することは必ずしも容易ではなく、潜在的に危険な挙動につながる可能性がある。本論文では、2つの新しい進歩を紹介する：(I) OptlayerとSafeFallbackの手法を組み合わせてOptLayerPolicyと名付け、高いサンプル効率を維持しながら初期効用を向上させる。(II) 自己改善型ハード制約を導入し、より多くのデータが利用可能になるにつれて制約関数の精度を上げ、より良いポリシーを学習できるようにする。この2つの進歩により、制約の定式化はRLの定式化から切り離され、新しい（おそらくより優れた）RLアルゴリズムがドロップインの代替品として機能するようになる。マルチエネルギーシステムのシミュレーションにおいて、初期効用は86.1%（OptLayer）に対して92.4%（OptLayerPolicy）、学習後の方針は103.4%（OptLayer）に対して104.9%（GreyOptLayerPolicy）と、すべてバニラRLベンチマークと比較して増加することが示されました。最適化問題にサロゲート関数を導入するには特別な注意が必要ですが、今回発表されたGreyOptLayerPolicyの手法が最も有利であると結論付けられました。

要約(オリジナル)

Safe reinforcement learning (RL) with hard constraint guarantees is a promising optimal control direction for multi-energy management systems. It only requires the environment-specific constraint functions itself a priori and not a complete model (i.e. plant, disturbance and noise models, and prediction models for states not included in the plant model – e.g. demand forecasts, weather forecasts, price forecasts). The project-specific upfront and ongoing engineering efforts are therefore still reduced, better representations of the underlying system dynamics can still be learned and modelling bias is kept to a minimum (no model-based objective function). However, even the constraint functions alone are not always trivial to accurately provide in advance, leading to potentially unsafe behaviour. In this paper, we present two novel advancements: (I) combining the Optlayer and SafeFallback method, named OptLayerPolicy, to increase the initial utility while keeping a high sample efficiency. (II) introducing self-improving hard constraints, to increase the accuracy of the constraint functions as more data becomes available so that better policies can be learned. Both advancements keep the constraint formulation decoupled from the RL formulation, so that new (presumably better) RL algorithms can act as drop-in replacements. We have shown that, in a simulated multi-energy system case study, the initial utility is increased to 92.4% (OptLayerPolicy) compared to 86.1% (OptLayer) and that the policy after training is increased to 104.9% (GreyOptLayerPolicy) compared to 103.4% (OptLayer) – all relative to a vanilla RL benchmark. While introducing surrogate functions into the optimization problem requires special attention, we do conclude that the newly presented GreyOptLayerPolicy method is the most advantageous.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL