Stochastic Q-learning for Large Discrete Action Spaces

要約

大規模な離散アクション空間を持つ複雑な環境では、強化学習 (RL) において効果的な意思決定が重要です。
Q ラーニングのような値ベースの RL アプローチが広く使用されているにもかかわらず、計算負荷が伴い、各反復のすべてのアクションにわたって値関数を最大化する必要があります。
この負担は、大規模な問題に対処し、関数近似器としてディープ ニューラル ネットワークを使用する場合に特に困難になります。
この論文では、$n$ アクションのセット全体を最適化するのではなく、各反復で $n$ ほど小さい、準線形数のアクションの可変確率セットのみを考慮する確率的値ベースの RL アプローチを紹介します。
\mathcal{O}(\log(n))$.
提示された確率的値ベースの RL 手法には、とりわけ、確率的 Q 学習、StochDQN、および StochDDQN が含まれており、これらはすべて、値関数の更新とアクション選択の両方に対してこの確率的アプローチを統合しています。
確率的 Q 学習の理論的収束が確立され、確率的最大化の分析が提供されます。
さらに、実証的な検証を通じて、提案されたさまざまなアプローチが、さまざまな制御問題を含む多様な環境にわたってベースライン手法を上回り、大幅に短縮された時間で最適に近い平均収益を達成できることを示しています。

要約(オリジナル)

In complex environments with large discrete action spaces, effective decision-making is critical in reinforcement learning (RL). Despite the widespread use of value-based RL approaches like Q-learning, they come with a computational burden, necessitating the maximization of a value function over all actions in each iteration. This burden becomes particularly challenging when addressing large-scale problems and using deep neural networks as function approximators. In this paper, we present stochastic value-based RL approaches which, in each iteration, as opposed to optimizing over the entire set of $n$ actions, only consider a variable stochastic set of a sublinear number of actions, possibly as small as $\mathcal{O}(\log(n))$. The presented stochastic value-based RL methods include, among others, Stochastic Q-learning, StochDQN, and StochDDQN, all of which integrate this stochastic approach for both value-function updates and action selection. The theoretical convergence of Stochastic Q-learning is established, while an analysis of stochastic maximization is provided. Moreover, through empirical validation, we illustrate that the various proposed approaches outperform the baseline methods across diverse environments, including different control problems, achieving near-optimal average returns in significantly reduced time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google