Learning Optimal Control with Stochastic Models of Hamiltonian Dynamics

要約

最適制御問題は、ポントリャギンの最大原理を適用し、ハミルトン力学系を解くことによって解決できます。
この論文では、最適な制御問題に取り組むための新しい学習フレームワークを提案します。
ポントリャギンの最大原理を元の最適制御問題に適用することにより、学習の焦点は縮小されたハミルトニアン ダイナミクスと対応する随伴変数に移ります。
縮小ハミルトニアン ネットワークは、時間を遡ってポントリャギンの最大原理の条件から推定される損失関数を最小化することによって学習できます。
学習プロセスは、より効果的な経路探索プロセスにつながる変分オートエンコーダを利用して、縮小ハミルトニアンの事後分布を段階的に学習することによってさらに改善されます。
私たちは学習フレームワークを適用してタスクを管理し、競争力のある結果を獲得します。

要約(オリジナル)

Optimal control problems can be solved by applying the Pontryagin maximum principle and then solving for a Hamiltonian dynamical system. In this paper, we propose novel learning frameworks to tackle optimal control problems. By applying the Pontryagin maximum principle to the original optimal control problem, the learning focus shifts to reduced Hamiltonian dynamics and corresponding adjoint variables. The reduced Hamiltonian networks can be learned by going backward in time and then minimizing loss function deduced from the Pontryagin maximum principle’s conditions. The learning process is further improved by progressively learning a posterior distribution of reduced Hamiltonians, utilizing a variational autoencoder which leads to more effective path exploration process. We apply our learning frameworks to control tasks and obtain competitive results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google