Sample-Efficient Reinforcement Learning of Koopman eNMPC

要約

強化学習（RL）を使用して、ポリシーの目的関数または状態境界などの制約の動的モデルまたはパラメーターを最適化することにより、特定のコントロールタスクで最適なパフォーマンスのために、データ駆動型の（経済的）非線形モデル予測コントローラー（（e）NMPCS）を調整できます。
ただし、RLのサンプル効率は非常に重要であり、それを改善するために、モデルベースのRLアルゴリズムと、Koopman（E）NMPCを自動的に微分可能なポリシーに変える公開された方法を組み合わせます。
文献からの連続攪拌タンク反応器（CSTR）モデルのENMPCケーススタディにアプローチを適用します。
このアプローチは、ベンチマークメソッド、つまり、得られたポリシーのさらなるRLチューニングなしでシステム識別に基づいてモデルを使用したデータ駆動型ENMPC、および優れたコントロールパフォーマンスとより高いサンプル効率を達成することにより、モデルベースのRLでトレーニングされたニューラルネットワークコントローラーを上回ります。
さらに、物理学に基づいた学習を介してシステムのダイナミクスに関する部分的な事前知識を利用すると、サンプル効率がさらに向上します。

要約(オリジナル)

Reinforcement learning (RL) can be used to tune data-driven (economic) nonlinear model predictive controllers ((e)NMPCs) for optimal performance in a specific control task by optimizing the dynamic model or parameters in the policy’s objective function or constraints, such as state bounds. However, the sample efficiency of RL is crucial, and to improve it, we combine a model-based RL algorithm with our published method that turns Koopman (e)NMPCs into automatically differentiable policies. We apply our approach to an eNMPC case study of a continuous stirred-tank reactor (CSTR) model from the literature. The approach outperforms benchmark methods, i.e., data-driven eNMPCs using models based on system identification without further RL tuning of the resulting policy, and neural network controllers trained with model-based RL, by achieving superior control performance and higher sample efficiency. Furthermore, utilizing partial prior knowledge about the system dynamics via physics-informed learning further increases sample efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google