The Power of Learned Locally Linear Models for Nonlinear Policy Optimization

要約

学習ベースの制御における一般的なパイプラインは、システム ダイナミクスのモデルを反復的に推定し、学習されたモデルに軌道最適化アルゴリズム (例: ~$\mathtt{iLQR}$) を適用して目標コストを最小限に抑えることです。
この論文では、一般的な非線形システムに対するこの戦略の簡略化された変形の厳密な分析を実施します。
非線形システムダイナミクスの局所線形モデルの推定と $\mathtt{iLQR}$ のようなポリシー更新の実行を繰り返すアルゴリズムを分析します。
我々は、このアルゴリズムが関連する問題パラメーターでサンプル複雑さ多項式を達成し、局所的に安定化するゲインを合成することによって問題の範囲における指数依存性を克服することを実証します。
実験結果はアルゴリズムのパフォーマンスを検証し、自然なディープラーニングのベースラインと比較します。

要約(オリジナル)

A common pipeline in learning-based control is to iteratively estimate a model of system dynamics, and apply a trajectory optimization algorithm – e.g.~$\mathtt{iLQR}$ – on the learned model to minimize a target cost. This paper conducts a rigorous analysis of a simplified variant of this strategy for general nonlinear systems. We analyze an algorithm which iterates between estimating local linear models of nonlinear system dynamics and performing $\mathtt{iLQR}$-like policy updates. We demonstrate that this algorithm attains sample complexity polynomial in relevant problem parameters, and, by synthesizing locally stabilizing gains, overcomes exponential dependence in problem horizon. Experimental results validate the performance of our algorithm, and compare to natural deep-learning baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google