Kernel-Based Optimal Control: An Infinitesimal Generator Approach

要約

この論文では、カーネルヒルベルト空間内の非線形確率的システムを最適に制御するための新しいオペレーター理論的アプローチを紹介します。
当社の学習フレームワークは、システムのダイナミクスとステージコスト関数のデータサンプルを活用し、制御ペナルティと制約のみが提供されます。
提案された方法は、無限次元仮説空間における制御された確率的拡散の無限の発生器を直接学習します。
私たちのアプローチは、最新の凸オペレーターと理論的なハミルトン – ジャコビベルマンの再帰とシームレスに統合され、最適な制御問題に対するデータ駆動型ソリューションを可能にすることを実証します。
さらに、私たちの学習フレームワークには、特別なケースとして、制御されていない無限の発電機のノンパラメトリック推定器が含まれています。
合成微分方程式からシミュレートされたロボットシステムに至るまでの数値実験は、最新のデータ駆動型および古典的な非線形プログラミング法の両方と比較して、アプローチの利点を最適な制御に紹介します。

要約(オリジナル)

This paper presents a novel operator-theoretic approach for optimal control of nonlinear stochastic systems within reproducing kernel Hilbert spaces. Our learning framework leverages data samples of system dynamics and stage cost functions, with only control penalties and constraints provided. The proposed method directly learns the infinitesimal generator of a controlled stochastic diffusion in an infinite-dimensional hypothesis space. We demonstrate that our approach seamlessly integrates with modern convex operator-theoretic Hamilton-Jacobi-Bellman recursions, enabling a data-driven solution to the optimal control problems. Furthermore, our learning framework includes nonparametric estimators for uncontrolled infinitesimal generators as a special case. Numerical experiments, ranging from synthetic differential equations to simulated robotic systems, showcase the advantages of our approach compared to both modern data-driven and classical nonlinear programming methods for optimal control.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google