Revisiting LQR Control from the Perspective of Receding-Horizon Policy Gradient

要約

タイトル： Receding-Horizon Policy Gradientの観点からLQR制御を見直す

要約：

– LQR(線形二次レギュレータ)問題は、制御アプリケーションにおけるモデルフリー学習フレームワークであるReceding-Horizon Policy Gradient(RHPG)の観点から再検討する。
– RHPGによる制御方針を学習するためのサンプル複雑度を詳細に分析し、最適なLQR解に対して安定化する制御方針を学習することができることを示す。また、アルゴリズムは初期化のために安定化制御方針を知る必要はない。
– RHPGがカルマンフィルタを学習するために最近適用されたことと複合して、線形制御および推定におけるRHPGの一般的な適用可能性を示す。

要約(オリジナル)

We revisit in this paper the discrete-time linear quadratic regulator (LQR) problem from the perspective of receding-horizon policy gradient (RHPG), a newly developed model-free learning framework for control applications. We provide a fine-grained sample complexity analysis for RHPG to learn a control policy that is both stabilizing and $\epsilon$-close to the optimal LQR solution, and our algorithm does not require knowing a stabilizing control policy for initialization. Combined with the recent application of RHPG in learning the Kalman filter, we demonstrate the general applicability of RHPG in linear control and estimation with streamlined analyses.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI