Double Successive Over-Relaxation Q-Learning with an Extension to Deep Reinforcement Learning

要約

Qラーニングは、強化学習（RL）で広く使用されているアルゴリズムですが、特に割引率が1に近い場合は、収束が遅くなる可能性があります。
連続した過剰緩和（SOR）Qラーニングは、収束をスピードアップするための緩和係数を導入し、この問題に対処しますが、表形式の設定では2つの主要な制限があります。緩和パラメーターは遷移確率に依存し、完全にモデルのないものではなく、過大評価biasに苦しむことがあります。
これらの制限を克服するために、サンプルベースのモデルを含まない二重Qラーニングアルゴリズムを提案します。
理論的にも経験的にも、このアルゴリズムはSOR Qラーニングよりも偏りが少ないことが示されています。
さらに、表形式の設定では、反復型の境界仮定の下での収束分析について説明します。
提案されたアルゴリズムは、ディープRLを使用して大規模な問題に拡張されます。
最後に、提案されたアルゴリズムの表形式バージョンは、ルーレットとグリッドの世界環境を使用して比較されますが、ディープRLバージョンは最大化バイアスの例とOpenaiジム環境でテストされます。

要約(オリジナル)

Q-learning is a widely used algorithm in reinforcement learning (RL), but its convergence can be slow, especially when the discount factor is close to one. Successive Over-Relaxation (SOR) Q-learning, which introduces a relaxation factor to speed up convergence, addresses this issue but has two major limitations: In the tabular setting, the relaxation parameter depends on transition probability, making it not entirely model-free, and it suffers from overestimation bias. To overcome these limitations, we propose a sample-based, model-free double SOR Q-learning algorithm. Theoretically and empirically, this algorithm is shown to be less biased than SOR Q-learning. Further, in the tabular setting, the convergence analysis under boundedness assumptions on iterates is discussed. The proposed algorithm is extended to large-scale problems using deep RL. Finally, the tabular version of the proposed algorithm is compared using roulette and grid world environments, while the deep RL version is tested on a maximization bias example and OpenAI Gym environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google