Accelerated Optimization Landscape of Linear-Quadratic Regulator

要約

線形二次レギュレータ (LQR) は、最適制御の分野における画期的な問題であり、この論文の関心事です。
一般に、LQR は、フルステートが得られたかどうかに基づいて、ステートフィードバック LQR (SLQR) と出力フィードバック LQR (OLQR) に分類されます。
既存の文献では、SLQR と OLQR の両方が、最適化される唯一の変数がフィードバック ゲイン行列である \textit{制約付き非凸行列最適化} 問題として見なすことができることが示唆されています。
本稿では、LQR問題を処理する一次加速最適化フレームワークを導入し、SLQRとOLQRの場合それぞれについてその収束解析を行う。
具体的には、LQR 性能基準のリプシッツ ヘシアン特性が提示されます。これは、最新の最適化技術の適用にとって重要な特性であることがわかります。
SLQR 問題については、連続時間ハイブリッド動的システムが導入され、その解軌道は Nesterov 最適次数 $1-\frac{1}{\sqrt{\kappa}}$ (
$\kappa$ は条件番号)。
次に、シンプレクティックオイラースキームを利用してハイブリッド動的システムを離散化し、連続時間収束率を保存する、つまり、離散化アルゴリズムがネステロフ最適収束順序を認める、再起動規則を備えたネステロフ型方法を提案する。
OLQR 問題に対しては、半凸関数の最適化と負の曲率の利用からなる 2 つの手順からなる方法であるヘシアンフリーの加速フレームワークが提案されています。
$\mathcal{O}(\epsilon^{-7/4}\log(1/\epsilon))$ の時間内に、このメソッドは性能基準の $\epsilon$ 定常点を見つけることができます。
これは、この方法がバニラ勾配降下の $\mathcal{O}(\epsilon^{-2})$ の複雑さを改善することを意味します。
さらに、私たちの方法は静止点の二次保証を提供します。

要約(オリジナル)

Linear-quadratic regulator (LQR) is a landmark problem in the field of optimal control, which is the concern of this paper. Generally, LQR is classified into state-feedback LQR (SLQR) and output-feedback LQR (OLQR) based on whether the full state is obtained. It has been suggested in existing literature that both the SLQR and the OLQR could be viewed as \textit{constrained nonconvex matrix optimization} problems in which the only variable to be optimized is the feedback gain matrix. In this paper, we introduce a first-order accelerated optimization framework of handling the LQR problem, and give its convergence analysis for the cases of SLQR and OLQR, respectively. Specifically, a Lipschiz Hessian property of LQR performance criterion is presented, which turns out to be a crucial property for the application of modern optimization techniques. For the SLQR problem, a continuous-time hybrid dynamic system is introduced, whose solution trajectory is shown to converge exponentially to the optimal feedback gain with Nesterov-optimal order $1-\frac{1}{\sqrt{\kappa}}$ ($\kappa$ the condition number). Then, the symplectic Euler scheme is utilized to discretize the hybrid dynamic system, and a Nesterov-type method with a restarting rule is proposed that preserves the continuous-time convergence rate, i.e., the discretized algorithm admits the Nesterov-optimal convergence order. For the OLQR problem, a Hessian-free accelerated framework is proposed, which is a two-procedure method consisting of semiconvex function optimization and negative curvature exploitation. In a time $\mathcal{O}(\epsilon^{-7/4}\log(1/\epsilon))$, the method can find an $\epsilon$-stationary point of the performance criterion; this entails that the method improves upon the $\mathcal{O}(\epsilon^{-2})$ complexity of vanilla gradient descent. Moreover, our method provides the second-order guarantee of stationary point.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google