Quantile-Based Deep Reinforcement Learning using Two-Timescale Policy Gradient Algorithms

要約

古典的な強化学習(RL)は、期待される累積報酬を最適化することを目的としている。本研究では、累積報酬の分位値を最適化することを目標とするRL設定を考える。我々は、ニューラルネットワークによって行動を制御するポリシーをパラメータ化し、量子化目標を持つ深いRL問題を解くために、量子化ベースのポリシー最適化（QPO）とその変形である量子化ベースの近接ポリシー最適化（QPPO）という新しいポリシー勾配アルゴリズムを提案する。QPOは、分位値と政策パラメータを同時に更新するために、異なる時間スケールで実行される2つの結合反復を用いる。一方、QPPOはQPOのオフポリシーバージョンで、1回のシミュレーションでパラメータの複数更新を可能にし、アルゴリズムの効率化につながる。数値結果は、提案アルゴリズムが、分位基準において既存のベースラインアルゴリズムを凌駕することを示す。

要約(オリジナル)

Classical reinforcement learning (RL) aims to optimize the expected cumulative reward. In this work, we consider the RL setting where the goal is to optimize the quantile of the cumulative reward. We parameterize the policy controlling actions by neural networks, and propose a novel policy gradient algorithm called Quantile-Based Policy Optimization (QPO) and its variant Quantile-Based Proximal Policy Optimization (QPPO) for solving deep RL problems with quantile objectives. QPO uses two coupled iterations running at different timescales for simultaneously updating quantiles and policy parameters, whereas QPPO is an off-policy version of QPO that allows multiple updates of parameters during one simulation episode, leading to improved algorithm efficiency. Our numerical results indicate that the proposed algorithms outperform the existing baseline algorithms under the quantile criterion.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL