Improving a Proportional Integral Controller with Reinforcement Learning on a Throttle Valve Benchmark

要約

この論文では、環境に関する事前知識を必要とせずに最適に近いコントローラーを実現する、非対称ヒステリシスを持つ非線形スロットル バルブの学習ベースの制御戦略を紹介します。
慎重に調整された比例積分器 (PI) コントローラーから始め、ガイドによる強化学習 (RL) の最近の進歩を利用して、バルブとの追加の相互作用から学習することで閉ループの動作を改善します。
提案された制御方法を 3 つの異なるバルブのさまざまなシナリオでテストしました。これらはいずれも、非線形確率システムにおける制御パフォーマンスを向上させるために PI フレームワークと RL フレームワークの両方を組み合わせることの利点を強調しています。
すべての実験的テスト ケースにおいて、結果として得られるエージェントは従来の RL エージェントよりもサンプル効率が高く、PI コントローラーよりも優れたパフォーマンスを示しました。

要約(オリジナル)

This paper presents a learning-based control strategy for non-linear throttle valves with an asymmetric hysteresis, leading to a near-optimal controller without requiring any prior knowledge about the environment. We start with a carefully tuned Proportional Integrator (PI) controller and exploit the recent advances in Reinforcement Learning (RL) with Guides to improve the closed-loop behavior by learning from the additional interactions with the valve. We test the proposed control method in various scenarios on three different valves, all highlighting the benefits of combining both PI and RL frameworks to improve control performance in non-linear stochastic systems. In all the experimental test cases, the resulting agent has a better sample efficiency than traditional RL agents and outperforms the PI controller.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google