Stochastic Nonlinear Control via Finite-dimensional Spectral Dynamic Embedding

要約

この論文では、非線形確率システムの最適制御へのアプローチであるスペクトル ダイナミクス埋め込み制御 (SDEC) を紹介します。
この方法は、無限次元の機能を利用して状態アクション値関数を線形に表現し、実際の実装のために有限次元の切り捨て近似を利用します。
これらの有限次元近似の有効性を特徴付けるために、政策評価と政策最適化の両方において、有限次元切り捨てによって引き起こされる近似誤差と有限サンプル近似によって引き起こされる統計誤差を特徴付ける詳細な理論分析を提供します。
私たちの分析には、ランダムな特徴と Nystrom 特徴に対する切り捨てという 2 つの著名なカーネル近似手法が含まれています。
また、アルゴリズムを経験的にテストし、いくつかのベンチマーク問題で Koopman ベース、iLQR、およびエネルギーベースの手法とパフォーマンスを比較します。

要約(オリジナル)

This paper presents an approach, Spectral Dynamics Embedding Control (SDEC), to optimal control for nonlinear stochastic systems. This method leverages an infinite-dimensional feature to linearly represent the state-action value function and exploits finite-dimensional truncation approximation for practical implementation. To characterize the effectiveness of these finite dimensional approximations, we provide an in-depth theoretical analysis to characterize the approximation error induced by the finite-dimension truncation and statistical error induced by finite-sample approximation in both policy evaluation and policy optimization. Our analysis includes two prominent kernel approximation methods: truncations onto random features and Nystrom features. We also empirically test the algorithm and compare the performance with Koopman-based, iLQR, and energy-based methods on a few benchmark problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google