On Bellman equations for continuous-time policy evaluation I: discretization and approximation

要約

連続時間拡散過程の離散的に観察された軌跡から価値関数を計算する問題を研究します。
関数近似による離散時間強化学習 (RL) と互換性のある、簡単に実装可能な数値スキームに基づいた新しいクラスのアルゴリズムを開発します。
提案されたアプローチの高次の数値精度と近似誤差の保証を確立します。
近似係数が有効水平線に依存する離散時間 RL 問題とは対照的に、有効水平線が無限に発散する場合でも、基礎となる楕円構造を使用して有界近似係数を取得します。

要約(オリジナル)

We study the problem of computing the value function from a discretely-observed trajectory of a continuous-time diffusion process. We develop a new class of algorithms based on easily implementable numerical schemes that are compatible with discrete-time reinforcement learning (RL) with function approximation. We establish high-order numerical accuracy as well as the approximation error guarantees for the proposed approach. In contrast to discrete-time RL problems where the approximation factor depends on the effective horizon, we obtain a bounded approximation factor using the underlying elliptic structures, even if the effective horizon diverges to infinity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google