Neural Lyapunov and Optimal Control

要約

最適制御 (OC) は、複雑な動的システムを制御するための効果的なアプローチです。
ただし、最適な制御でコントローラーをパラメーター化して学習する従来のアプローチは、データを収集してニューラル ネットワークに適合させるというアドホックなものでした。
ただし、これにより、学習されたコントローラーが最適性や時間変動性などの制約を無視する可能性があります。
対応するリアプノフ関数または値関数を学習しながら、同時に制御問題を解決する統一フレームワークを導入します。
私たちの方法は、Hamilton-Jacobi-Bellman (HJB) 方程式に基づいて OC のような数学的プログラムを定式化します。
HJB 最適性制約とその緩和を活用して、時変値とリアプノフ関数を学習し、暗黙的に制約が含まれていることを保証します。
線形および非線形の制御アフィン問題に対するアプローチの有効性を示します。
さらに、学習した関数をモデル予測コントローラーに組み込むと、計画期間が大幅に短縮される (最大 25 分の 1) ことを実証します。

要約(オリジナル)

Optimal control (OC) is an effective approach to controlling complex dynamical systems. However, traditional approaches to parameterising and learning controllers in optimal control have been ad-hoc, collecting data and fitting it to neural networks. However, this can lead to learnt controllers ignoring constraints like optimality and time variability. We introduce a unified framework that simultaneously solves control problems while learning corresponding Lyapunov or value functions. Our method formulates OC-like mathematical programs based on the Hamilton-Jacobi-Bellman (HJB) equation. We leverage the HJB optimality constraint and its relaxation to learn time-varying value and Lyapunov functions, implicitly ensuring the inclusion of constraints. We show the effectiveness of our approach on linear and nonlinear control-affine problems. Additionally, we demonstrate significant reductions in planning horizons (up to a factor of 25) when incorporating the learnt functions into Model Predictive Controllers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google