Distributionally Robust Policy and Lyapunov-Certificate Learning

要約

本論文では、モデル不確実性下の制御システムに対して、分布的にロバストな安定化ニューラル・コントローラと証明書を合成するための新しい手法を紹介する。不確実なシステムに対して安定性が保証された制御器を設計する際の重要な課題は、オンライン展開中にモデルパラメトリックの不確実性のシフトを正確に決定し、それに適応することである。我々は、リアプノフ証明書の単調減少を保証するリアプノフ微分確率制約の新しい分布的にロバストな定式化を用いてこれに取り組む。確率測度の空間を扱うことに伴う計算の複雑さを回避するために、我々は、リアプノフ微分制約が満足されることを保証する決定論的凸制約の形で十分条件を特定する。この条件をニューラルネットワークベースの制御器を学習するための損失関数に統合し、その結果得られる閉ループシステムにおいて、分布外（OoD）モデルの不確実性があっても、その平衡の大域的漸近安定性が高い信頼性で保証されることを示す。提案手法の有効性と効率性を実証するために、シミュレーションにおける2つの制御問題において、不確実性にとらわれないベースラインアプローチおよびいくつかの強化学習アプローチと比較する。

要約(オリジナル)

This article presents novel methods for synthesizing distributionally robust stabilizing neural controllers and certificates for control systems under model uncertainty. A key challenge in designing controllers with stability guarantees for uncertain systems is the accurate determination of and adaptation to shifts in model parametric uncertainty during online deployment. We tackle this with a novel distributionally robust formulation of the Lyapunov derivative chance constraint ensuring a monotonic decrease of the Lyapunov certificate. To avoid the computational complexity involved in dealing with the space of probability measures, we identify a sufficient condition in the form of deterministic convex constraints that ensures the Lyapunov derivative constraint is satisfied. We integrate this condition into a loss function for training a neural network-based controller and show that, for the resulting closed-loop system, the global asymptotic stability of its equilibrium can be certified with high confidence, even with Out-of-Distribution (OoD) model uncertainties. To demonstrate the efficacy and efficiency of the proposed methodology, we compare it with an uncertainty-agnostic baseline approach and several reinforcement learning approaches in two control problems in simulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL