Hybrid Reinforcement Learning and Model Predictive Control for Adaptive Control of Hydrogen-Diesel Dual-Fuel Combustion

要約

強化学習（RL）および機械学習統合モデル予測制御（ML-MPC）は、複数の入力量の複数の出力システムと非線形プロセスを効果的に制御できるため、水素ダイエルのデュアル燃料エンジン制御を最適化するための有望なアプローチです。
ML-MPCは、安全で最適な制御を提供し、事前定義された安全限界内でエンジンが動作するようにするために有利です。
対照的に、RLは、学習ベースのアプローチを通じて、条件の変化に対する適応性によって区別されます。
ただし、いずれかの方法だけの実際の実装は、課題をもたらします。
RLは、早期学習段階で制御入力の高い分散を必要とします。これにより、安全でないアクションが潜在的に実行される可能性があることにより、システムにリスクをもたらし、機械的損傷につながる可能性があります。
逆に、ML-MPCは正確なシステムモデルに依存して最適な制御入力を生成し、エンジンアプリケーションで自然に発生するインジェクターの老化など、システムドリフトへの適応性が限られています。
これらの制限に対処するために、この研究では、環境の変化に応じてML-MPCロードトラッキング参照を動的に調整するためにRLエージェントを組み込んでいる間、ML-MPCフレームワークを使用しながら、ハイブリッドRLおよびML-MPCアプローチを提案します。
同時に、ML-MPCは、RLエージェントの探査全体でアクションを安全に保つことを保証します。
このアプローチの有効性を評価するために、ML-MPCとエンジンテストベンチの間にモデル植物の不一致を導入するために、燃料圧力が意図的に変化します。
このミスマッチの結果は、ML-MPCを実行する際の平均有効圧力0.57 barのルート平均平方根誤差（RMSE）です。
実験結果は、ML-MPCが安全な制御入力を保証しながら、追跡参照を変更することにより、RLが境界条件の変化に正常に適応することを示しています。
RLを実装することによる負荷追跡の定量的改善は、0.44 BarのRSMEです。

要約(オリジナル)

Reinforcement Learning (RL) and Machine Learning Integrated Model Predictive Control (ML-MPC) are promising approaches for optimizing hydrogen-diesel dual-fuel engine control, as they can effectively control multiple-input multiple-output systems and nonlinear processes. ML-MPC is advantageous for providing safe and optimal controls, ensuring the engine operates within predefined safety limits. In contrast, RL is distinguished by its adaptability to changing conditions through its learning-based approach. However, the practical implementation of either method alone poses challenges. RL requires high variance in control inputs during early learning phases, which can pose risks to the system by potentially executing unsafe actions, leading to mechanical damage. Conversely, ML-MPC relies on an accurate system model to generate optimal control inputs and has limited adaptability to system drifts, such as injector aging, which naturally occur in engine applications. To address these limitations, this study proposes a hybrid RL and ML-MPC approach that uses an ML-MPC framework while incorporating an RL agent to dynamically adjust the ML-MPC load tracking reference in response to changes in the environment. At the same time, the ML-MPC ensures that actions stay safe throughout the RL agent’s exploration. To evaluate the effectiveness of this approach, fuel pressure is deliberately varied to introduce a model-plant mismatch between the ML-MPC and the engine test bench. The result of this mismatch is a root mean square error (RMSE) in indicated mean effective pressure of 0.57 bar when running the ML-MPC. The experimental results demonstrate that RL successfully adapts to changing boundary conditions by altering the tracking reference while ML-MPC ensures safe control inputs. The quantitative improvement in load tracking by implementing RL is an RSME of 0.44 bar.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google