Rough Stochastic Pontryagin Maximum Principle and an Indirect Shooting Method

要約

ガウスのラフパスによって駆動される粗微分方程式（RDE）によってモデル化されたシステムの決定論的制御を使用して、確率的最適制御のための1次ポントリアギンの最適性条件を導き出します。
このポントリアギンの最大原理（PMP）は、ブラウン運動によって駆動される確率的微分方程式（SDE）に続くシステムに適用されますが、前方逆座標SDEに依存せず、決定論的PMPと同じハミルトニアンを含みます。
この証明は、ガウスラフパスの最近の結果を活用することにより、非線形および線形RDEのソリューションのさまざまな統合エラーバウンドを最初に導き出すことで構成されています。
PMPは、針のようなバリエーションに基づいて標準的な手法を使用して続きます。
アプリケーションとして、非線形確率的最適制御のための最初の間接射撃方法を提案し、安定化タスクの直接的な方法よりも10倍速く収束することを示します。

要約(オリジナル)

We derive first-order Pontryagin optimality conditions for stochastic optimal control with deterministic controls for systems modeled by rough differential equations (RDE) driven by Gaussian rough paths. This Pontryagin Maximum Principle (PMP) applies to systems following stochastic differential equations (SDE) driven by Brownian motion, yet it does not rely on forward-backward SDEs and involves the same Hamiltonian as the deterministic PMP. The proof consists of first deriving various integrable error bounds for solutions to nonlinear and linear RDEs by leveraging recent results on Gaussian rough paths. The PMP then follows using standard techniques based on needle-like variations. As an application, we propose the first indirect shooting method for nonlinear stochastic optimal control and show that it converges 10x faster than a direct method on a stabilization task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google