A Temporal Difference Method for Stochastic Continuous Dynamics

要約

ODEやSDEなどの動的方程式によってモデル化された連続システムの場合、ベルマンの最適性の原理は、補強学習（RL）の理論的ターゲットを提供するハミルトン・ジャコビ・ベルマン（HJB）方程式の形をとっています。
RLの最近の進歩はこの定式化をうまく活用していますが、既存の方法は通常、HJB方程式に従って値関数を更新するためにダイナミカル方程式の係数関数への明示的なアクセスが必要であるため、基礎となるダイナミクスが先験的に既知であると想定しています。
HJBベースのRLのこの固有の制限に対処します。
HJB方程式をターゲットにしたモデルフリーのアプローチを提案し、対応する時間差法を提案します。
定性的および経験的に、遷移カーネルベースの製剤よりもその潜在的な利点を示します。
提案された定式化は、確率的最適制御とモデルのない強化学習を橋渡しするための道を開きます。

要約(オリジナル)

For continuous systems modeled by dynamical equations such as ODEs and SDEs, Bellman’s principle of optimality takes the form of the Hamilton-Jacobi-Bellman (HJB) equation, which provides the theoretical target of reinforcement learning (RL). Although recent advances in RL successfully leverage this formulation, the existing methods typically assume the underlying dynamics are known a priori because they need explicit access to the coefficient functions of dynamical equations to update the value function following the HJB equation. We address this inherent limitation of HJB-based RL; we propose a model-free approach still targeting the HJB equation and propose the corresponding temporal difference method. We demonstrate its potential advantages over transition kernel-based formulations, both qualitatively and empirically. The proposed formulation paves the way toward bridging stochastic optimal control and model-free reinforcement learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google