Learning Over All Contracting and Lipschitz Closed-Loops for Partially-Observed Nonlinear Systems

要約

タイトル：非線形部分観測システムに対する収縮およびリプシッツ閉ループのオールラーンニング学習

要約：

– 非線形の部分的に観測された動的システムにおける学習ベースの制御のためのポリシーパラメータ化を提案
– パラメータ化はYoulaパラメータ化の非線形版と最近提案された再帰平衡ネットワーク（REN）モデルクラスに基づく
– 結果として得られるYoula-RENパラメータ化が、クローズドループシステムに対して安定性（収縮）とユーザーチューナブルなロバスト性（リプシッツ）条件を自動的に満たすことを証明
– 安定性や堅牢性を強制するための追加の制約や投影が必要なく、安全な学習ベースの制御に使用できる
– この新しいポリシークラスをシミュレーションで2つの強化学習タスクでテスト。1）磁気浮上、2）回転アーム振り子のインバース。Youla-RENは、既存の学習ベースの制御手法や最適制御法と同様の性能を発揮しながら、堅牢性が向上し、敵対的な干渉に対してより堅牢であることがわかった。

要約(オリジナル)

This paper presents a policy parameterization for learning-based control on nonlinear, partially-observed dynamical systems. The parameterization is based on a nonlinear version of the Youla parameterization and the recently proposed Recurrent Equilibrium Network (REN) class of models. We prove that the resulting Youla-REN parameterization automatically satisfies stability (contraction) and user-tunable robustness (Lipschitz) conditions on the closed-loop system. This means it can be used for safe learning-based control with no additional constraints or projections required to enforce stability or robustness. We test the new policy class in simulation on two reinforcement learning tasks: 1) magnetic suspension, and 2) inverting a rotary-arm pendulum. We find that the Youla-REN performs similarly to existing learning-based and optimal control methods while also ensuring stability and exhibiting improved robustness to adversarial disturbances.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI