Exploiting Multiple Abstractions in Episodic RL via Reward Shaping

要約

強化学習(RL)が多くの実用的なドメインに適用可能であるための大きな制限の1つは、最適なポリシーを学習するのに必要なサンプル数が多いことである。この問題に対処し、学習効率を向上させるために、我々は対象ドメインの基礎となるマルコフ決定過程（MDP）の抽象化レイヤーの線形階層を考える。各階層は、階層内のすぐ下の階層のより粗いモデルを表すMDPである。この研究では、抽象的なレベルで得られた解を、より具体的なMDPに報酬を提供するために用いるという、新しい形の報酬シェーピングを提案する。階層的RLにおける他の研究とは対照的に、我々の手法は抽象的モデルの設計に必要な要件が少なく、モデリングエラーにも耐性があるため、提案手法を実用的なものにしている。我々は、抽象モデルと低レベルドメインに誘導される探索ヒューリスティックとの関係を正式に解析する。さらに、この手法が最適な収束を保証することを証明し、その有効性を実験的に実証する。

要約(オリジナル)

One major limitation to the applicability of Reinforcement Learning (RL) to many practical domains is the large number of samples required to learn an optimal policy. To address this problem and improve learning efficiency, we consider a linear hierarchy of abstraction layers of the Markov Decision Process (MDP) underlying the target domain. Each layer is an MDP representing a coarser model of the one immediately below in the hierarchy. In this work, we propose a novel form of Reward Shaping where the solution obtained at the abstract level is used to offer rewards to the more concrete MDP, in such a way that the abstract solution guides the learning in the more complex domain. In contrast with other works in Hierarchical RL, our technique has few requirements in the design of the abstract models and it is also tolerant to modeling errors, thus making the proposed approach practical. We formally analyze the relationship between the abstract models and the exploration heuristic induced in the lower-level domain. Moreover, we prove that the method guarantees optimal convergence and we demonstrate its effectiveness experimentally.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL