On the Feedback Law in Stochastic Optimal Nonlinear Control

要約

非線形確率的最適制御の問題を考察する。
この問題は、ベルマンの悪名高い「次元の呪い」のせいで、根本的に解決が難しいと考えられています。
モデル予測制御 (MPC) と同様に、現在の状態から開ループの決定論的問題を繰り返し解くと、真のグローバルに $O(\epsilon^4)$ 近いフィードバック ポリシーが得られることを示す結果を提示します。
確率的最適政策。
さらに、経験的結果は、確率的動的計画法 (DP) 問題の解決は、たとえ扱いやすい場合でもノイズの影響を非常に受けやすいことを示しており、実際には、MPC タイプのフィードバック則が確率的システムであっても優れたパフォーマンスを提供します。

要約(オリジナル)

We consider the problem of nonlinear stochastic optimal control. This problem is thought to be fundamentally intractable owing to Bellman’s infamous ‘curse of dimensionality’. We present a result that shows that repeatedly solving an open-loop deterministic problem from the current state, similar to Model Predictive Control (MPC), results in a feedback policy that is $O(\epsilon^4)$ near to the true global stochastic optimal policy. Furthermore, empirical results show that solving the Stochastic Dynamic Programming (DP) problem is highly susceptible to noise, even when tractable, and in practice, the MPC-type feedback law offers superior performance even for stochastic systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google