Synthesizing Stable Reduced-Order Visuomotor Policies for Nonlinear Systems via Sums-of-Squares Optimization

要約

フィードバック制御ループで視覚的観測と学習した知覚モジュールを使用する場合に、目標状態までの実行時の安定性を保証する、制御アフィン非線形システム用の動的な低次数出力フィードバック多項式制御ポリシーを合成する方法を提案します。
私たちはリアプノフ分析を活用して、そのような政策を総合する問題を定式化します。
この問題は、ポリシー パラメーターとポリシーの安定性を証明するために使用されるリアプノフ関数において非凸です。
この問題を近似的に解決するために、我々は 2 つのアプローチを提案します。1 つ目は一連の二乗和最適化問題を解き、構築によって安定していることが証明されたポリシーを反復的に改善します。2 つ目は、パラメータに対して勾配ベースの最適化を直接実行します。
多項式ポリシーとその閉ループの安定性が事後的に検証されます。
私たちはアプローチを拡張して、学習された知覚モジュールのエラーによって現実的に発生する観測ノイズの存在下での安定性の保証を提供します。
私たちは、振り子やクワローターなど、いくつかの作動が不十分な非線形システムに対するアプローチを評価し、これらのシステムを画像から制御する場合、私たちの保証が経験的な安定性につながる一方、ベースラインのアプローチではシステムを確実に安定化できない可能性があることを示しています。

要約(オリジナル)

We present a method for synthesizing dynamic, reduced-order output-feedback polynomial control policies for control-affine nonlinear systems which guarantees runtime stability to a goal state, when using visual observations and a learned perception module in the feedback control loop. We leverage Lyapunov analysis to formulate the problem of synthesizing such policies. This problem is nonconvex in the policy parameters and the Lyapunov function that is used to prove the stability of the policy. To solve this problem approximately, we propose two approaches: the first solves a sequence of sum-of-squares optimization problems to iteratively improve a policy which is provably-stable by construction, while the second directly performs gradient-based optimization on the parameters of the polynomial policy, and its closed-loop stability is verified a posteriori. We extend our approach to provide stability guarantees in the presence of observation noise, which realistically arises due to errors in the learned perception module. We evaluate our approach on several underactuated nonlinear systems, including pendula and quadrotors, showing that our guarantees translate to empirical stability when controlling these systems from images, while baseline approaches can fail to reliably stabilize the system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google