Primal-Dual iLQR

要約

制約のない離散時間最適制御問題を解決するための新しいアルゴリズムを紹介します。
私たちの手法は直接複数射撃アプローチに従い、$\ell_2$ 拡張ラグランジュ主双対メリット関数とともに SQP 手法を適用することで構成されています。
LQR アルゴリズムを使用して Newton-KK​​T システムの主成分を効率的に解き、デュアル LQR 逆方向パスを使用してその双対成分を解きます。
また、Newton-KK​​T システムの双対成分を $O(\log(N))$ 並列時間で解くための新しい並列アルゴリズムも提示します ($N$ はステージ数です)。
(S\'{a}rkk\'{a} and Garc\'{i}a-Fern\'{a}ndez, 2023) と組み合わせると、完全な Newton-KK​​T 系を $0 で解くことができます。
(\log(N))$ 並列時間。
このメソッドの残りの部分では、反復ごとの並列時間の複雑さが一定になります。
したがって、この論文は、非線形離散時間最適制御問題を解決するための、実用的で高度に並列化可能な (たとえば GPU を使用した) 方法を初めて提供します。
私たちのアルゴリズムは NPSQP (Gill et al. 1992) を特殊化したものであるため、グローバル コンバージェンス、高速ローカル コンバージェンス、2 次補正や次元拡張の必要がないなどの一般的な特性を継承しており、既存の直接複数シューティング アプローチを改善しています。
acados (Verschueren et al. 2022)、ALTRO (Howell et al. 2019)、GNMS ( Giftthaler et al. 2018)、FATROP (Vanroye et al. 2023)、FDDP (Mastalli et al. 2020) など。

要約(オリジナル)

We introduce a new algorithm for solving unconstrained discrete-time optimal control problems. Our method follows a direct multiple shooting approach, and consists of applying the SQP method together with an $\ell_2$ augmented Lagrangian primal-dual merit function. We use the LQR algorithm to efficiently solve the primal component of the Newton-KKT system, and use a dual LQR backward pass to solve its dual component. We also present a new parallel algorithm for solving the dual component of the Newton-KKT system in $O(\log(N))$ parallel time, where $N$ is the number of stages. Combining it with (S\'{a}rkk\'{a} and Garc\'{i}a-Fern\'{a}ndez, 2023), we are able to solve the full Newton-KKT system in $O(\log(N))$ parallel time. The remaining parts of our method have constant parallel time complexity per iteration. Therefore, this paper provides, for the first time, a practical, highly parallelizable (for example, with a GPU) method for solving nonlinear discrete-time optimal control problems. As our algorithm is a specialization of NPSQP (Gill et al. 1992), it inherits its generic properties, including global convergence, fast local convergence, and the lack of need for second order corrections or dimension expansions, improving on existing direct multiple shooting approaches such as acados (Verschueren et al. 2022), ALTRO (Howell et al. 2019), GNMS (Giftthaler et al. 2018), FATROP (Vanroye et al. 2023), and FDDP (Mastalli et al. 2020).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google