Gaussian Processes with State-Dependent Noise for Stochastic Control

要約

この論文では、動的システムの残差モデルの不確実性がガウス過程 (GP) を使用して学習される確率的制御フレームワークを検討します。
提案された定式化では、残差モデルの不確実性は、非線形関数と状態依存のノイズで構成されます。
提案された定式化では、事後 GP を使用して残差モデルの不確実性を近似し、事前 GP を使用して状態依存のノイズを考慮します。
2 つの GP は相互依存しているため、反復アルゴリズムを使用して共同で学習されます。
反復アルゴリズムの理論的特性が確立されます。
提案された状態依存定式化の利点には、(i) GP がどのデータ サンプルがより信頼できるかを学習するにつれて GP 推定値が未知の関数により速く収束すること、および (ii) 状態依存ノイズの正確な推定値が含まれます。
管理者または意思決定者がアクションの不確実性を判断するのに役立ちます。
シミュレーション研究では、これら 2 つの利点が強調されています。

要約(オリジナル)

This paper considers a stochastic control framework, in which the residual model uncertainty of the dynamical system is learned using a Gaussian Process (GP). In the proposed formulation, the residual model uncertainty consists of a nonlinear function and state-dependent noise. The proposed formulation uses a posterior-GP to approximate the residual model uncertainty and a prior-GP to account for state-dependent noise. The two GPs are interdependent and are thus learned jointly using an iterative algorithm. Theoretical properties of the iterative algorithm are established. Advantages of the proposed state-dependent formulation include (i) faster convergence of the GP estimate to the unknown function as the GP learns which data samples are more trustworthy and (ii) an accurate estimate of state-dependent noise, which can, e.g., be useful for a controller or decision-maker to determine the uncertainty of an action. Simulation studies highlight these two advantages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google