Integrating Reinforcement Learning and Model Predictive Control with Applications to Microgrids

要約

この研究では、強化学習とモデル予測制御 (MPC) を統合して、混合論理動的システムにおける有限水平最適制御問題を効率的に解決するアプローチを提案します。
離散および連続の決定変数を使用したこのようなシステムの最適化ベースの制御には、混合整数の 2 次または線形プログラムのオンライン ソリューションが必要ですが、次元の呪いに悩まされます。
私たちのアプローチは、離散変数に関する決定と連続変数に関する決定を効果的に分離することで、この問題を軽減することを目的としています。
さらに、予測範囲による可能なアクションの数の組み合わせの増加を軽減するために、学習問題をより扱いやすくするために分離された Q 関数の定義を考案しました。
強化学習の使用により、MPC コントローラーのオンライン最適化問題が混合整数線形 (二次) プログラムから線形 (二次) プログラムに削減され、計算時間が大幅に短縮されます。
実世界のデータに基づいたマイクログリッドのシミュレーション実験では、提案された手法により MPC アプローチのオンライン計算時間が大幅に短縮され、最適性ギャップが小さく、高い実現可能性を備えたポリシーが生成されることが実証されました。

要約(オリジナル)

This work proposes an approach that integrates reinforcement learning and model predictive control (MPC) to efficiently solve finite-horizon optimal control problems in mixed-logical dynamical systems. Optimization-based control of such systems with discrete and continuous decision variables entails the online solution of mixed-integer quadratic or linear programs, which suffer from the curse of dimensionality. Our approach aims at mitigating this issue by effectively decoupling the decision on the discrete variables and the decision on the continuous variables. Moreover, to mitigate the combinatorial growth in the number of possible actions due to the prediction horizon, we conceive the definition of decoupled Q-functions to make the learning problem more tractable. The use of reinforcement learning reduces the online optimization problem of the MPC controller from a mixed-integer linear (quadratic) program to a linear (quadratic) program, greatly reducing the computational time. Simulation experiments for a microgrid, based on real-world data, demonstrate that the proposed method significantly reduces the online computation time of the MPC approach and that it generates policies with small optimality gaps and high feasibility rates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google