Diverse Projection Ensembles for Distributional Reinforcement Learning

要約

古典的な強化学習（RL）とは対照的に、分布RLアルゴリズムは、期待値ではなくリターンの分布を学習することを目的としています。
リターン分布の性質は一般に先験的または任意の複雑ではないため、一般的なアプローチでは、表現可能なパラメトリック分布のセット内で近似を見つけます。
通常、これには、単純化された分布のセットへの制約のない分布の投影が含まれます。
この投影ステップは、ニューラルネットワークと勾配降下と組み合わせると、学習モデルの一般化挙動に深く影響を与える場合、強力な誘導バイアスを伴うと主張します。
多様性を通じて信頼できる不確実性の推定を促進するために、分布アンサンブルのいくつかの異なる投影と表現の組み合わせを研究します。
このような投影アンサンブルの理論的特性を確立し、深い探査のボーナスとして、平均1ワセルタイン距離で測定されたアンサンブルの意見の不一致を使用するアルゴリズムを導き出します。
Behavior Suite BenchmarkとVizdoomのアルゴリズムを評価し、多様な投影アンサンブルが、指示された探査問題で最も顕著な利益をもたらすさまざまなタスクの既存の方法よりも大幅なパフォーマンスの改善につながることを発見しました。

要約(オリジナル)

In contrast to classical reinforcement learning (RL), distributional RL algorithms aim to learn the distribution of returns rather than their expected value. Since the nature of the return distribution is generally unknown a priori or arbitrarily complex, a common approach finds approximations within a set of representable, parametric distributions. Typically, this involves a projection of the unconstrained distribution onto the set of simplified distributions. We argue that this projection step entails a strong inductive bias when coupled with neural networks and gradient descent, thereby profoundly impacting the generalization behavior of learned models. In order to facilitate reliable uncertainty estimation through diversity, we study the combination of several different projections and representations in a distributional ensemble. We establish theoretical properties of such projection ensembles and derive an algorithm that uses ensemble disagreement, measured by the average 1-Wasserstein distance, as a bonus for deep exploration. We evaluate our algorithm on the behavior suite benchmark and VizDoom and find that diverse projection ensembles lead to significant performance improvements over existing methods on a variety of tasks with the most pronounced gains in directed exploration problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google