Tractable Representations for Convergent Approximation of Distributional HJB Equations

要約

強化学習（RL）では、意思決定ポリシーの長期的な行動は、平均収益に基づいて評価されます。
分布RLが出現し、リスクに敏感な考慮事項を組み込んだポリシーを評価するための追加の統計を提供するリターン分布を学習するための手法を提示します。
時間の経過を自然に離散時間増分に分割できない場合、研究者は連続時間RL（CTRL）問題を研究しており、エージェントの状態と決定が継続的に進化します。
この設定では、Hamilton-Jacobi-Bellman（HJB）方程式は、期待収益の特性評価として十分に確立されており、多くのソリューション方法が存在します。
ただし、連続時間設定における分布RLの研究は初期段階にあります。
最近の研究により、分布HJB（DHJB）方程式が確立されており、CTRLの戻り分布の最初の特性評価を提供しています。
これらの方程式とそのソリューションは、正確に解決して表すことができないため、新しい近似技術が必要です。
この作業は、この目的に向かって進み、DHJB方程式をほぼ解決できるリターン分布をパラメーター化する方法の条件を確立します。
特に、分布RLアルゴリズムと対応する分布によって学習された統計間のマッピングの特定のトポロジプロパティの下で、これらの統計の近似がDHJB方程式の解の密接な近似につながることを示しています。
具体的には、分布RLで一般的な分位表現がこのトポロジー特性を満たし、連続時間分布RLの効率的な近似アルゴリズムを認証することを実証します。

要約(オリジナル)

In reinforcement learning (RL), the long-term behavior of decision-making policies is evaluated based on their average returns. Distributional RL has emerged, presenting techniques for learning return distributions, which provide additional statistics for evaluating policies, incorporating risk-sensitive considerations. When the passage of time cannot naturally be divided into discrete time increments, researchers have studied the continuous-time RL (CTRL) problem, where agent states and decisions evolve continuously. In this setting, the Hamilton-Jacobi-Bellman (HJB) equation is well established as the characterization of the expected return, and many solution methods exist. However, the study of distributional RL in the continuous-time setting is in its infancy. Recent work has established a distributional HJB (DHJB) equation, providing the first characterization of return distributions in CTRL. These equations and their solutions are intractable to solve and represent exactly, requiring novel approximation techniques. This work takes strides towards this end, establishing conditions on the method of parameterizing return distributions under which the DHJB equation can be approximately solved. Particularly, we show that under a certain topological property of the mapping between statistics learned by a distributional RL algorithm and corresponding distributions, approximation of these statistics leads to close approximations of the solution of the DHJB equation. Concretely, we demonstrate that the quantile representation common in distributional RL satisfies this topological property, certifying an efficient approximation algorithm for continuous-time distributional RL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google