On the Feedback Law in Stochastic Optimal Nonlinear Control

要約

非線形確率的最適制御の問題を考察する。
この問題は、ベルマンの「次元の呪い」により、根本的に解決が難しいと考えられています。
モデル予測制御 (MPC) と同様に、現在の状態から徐々に期間が短くなる開ループの決定論的問題を繰り返し解くと、$O(\epsilon^4)$ に近いフィードバック ポリシーが得られることを示す結果を提示します。
ここで、$\epsilon$ はノイズを変調する摂動パラメータです。
また、最適決定論的フィードバック問題には、フィードバック則の高次項が低次項に影響を与えないような摂動構造があり、この構造は最適確率的フィードバック問題では失われることも示します。
したがって、確率的動的計画法の問題を解くことは、低次元の問題であってもノイズの影響を非常に受けやすく、実際には、MPC タイプのフィードバック則は、高いノイズ レベルでも優れたパフォーマンスを提供します。

要約(オリジナル)

We consider the problem of nonlinear stochastic optimal control. This problem is thought to be fundamentally intractable owing to Bellman’s ‘curse of dimensionality’. We present a result that shows that repeatedly solving an open-loop deterministic problem from the current state with progressively shorter horizons, similar to Model Predictive Control (MPC), results in a feedback policy that is $O(\epsilon^4)$ near to the true global stochastic optimal policy, where $\epsilon$ is a perturbation parameter modulating the noise. We also show that the optimal deterministic feedback problem has a perturbation structure such that higher-order terms of the feedback law do not affect lower-order terms and that this structure is lost in the optimal stochastic feedback problem. Consequently, solving the Stochastic Dynamic Programming problem is highly susceptible to noise, even in low dimensional problems, and in practice, the MPC-type feedback law offers superior performance even for high noise levels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google