Discovering and Exploiting Sparse Rewards in a Learned Behavior Space

要約

学習エージェントにはアクションの品質に関するフィードバックがほとんどまたはまったくないため、報酬がまばらな設定で最適なポリシーを学習することは困難です。
このような状況では、探索に集中して、改善すべき報酬シグナルの発見につながることが望ましい戦略となります。
この種の設定を処理できる学習アルゴリズムは、(1) 可能なエージェントの動作を探索し、(2) 発見された可能性のある報酬を活用できなければなりません。
効率的な探索アルゴリズムが提案されており、行動空間を定義する必要があり、探索する価値があることがわかっている空間内でエージェントの結果として生じる行動をエージェントに関連付けます。
この空間を定義する必要があるのは、これらのアルゴリズムの制限です。
この研究では、行動空間をオンザフライで学習し、発見された報酬を効率的に最適化しながら行動空間を探索するように設計されたアルゴリズムである STAX を紹介します。
これは、交互の 2 段階のプロセスを通じて、行動空間の探索と学習を報酬の利用から分離することによって実現されます。
最初のステップでは、STAX は政策評価中に生成された高次元の観察結果の低次元表現を学習しながら、多様な政策のレパートリーを構築します。
活用ステップでは、エミッターを使用して、発見された有益なソリューションのパフォーマンスを最適化します。
3 つの異なるスパース報酬環境で行われた実験では、STAX が自律的に行​​動空間を構築するため、タスクに関する事前情報がはるかに少なくて済みながら、既存のベースラインと同等のパフォーマンスを発揮することが示されました。

要約(オリジナル)

Learning optimal policies in sparse rewards settings is difficult as the learning agent has little to no feedback on the quality of its actions. In these situations, a good strategy is to focus on exploration, hopefully leading to the discovery of a reward signal to improve on. A learning algorithm capable of dealing with this kind of settings has to be able to (1) explore possible agent behaviors and (2) exploit any possible discovered reward. Efficient exploration algorithms have been proposed that require to define a behavior space, that associates to an agent its resulting behavior in a space that is known to be worth exploring. The need to define this space is a limitation of these algorithms. In this work, we introduce STAX, an algorithm designed to learn a behavior space on-the-fly and to explore it while efficiently optimizing any reward discovered. It does so by separating the exploration and learning of the behavior space from the exploitation of the reward through an alternating two-steps process. In the first step, STAX builds a repertoire of diverse policies while learning a low-dimensional representation of the high-dimensional observations generated during the policies evaluation. In the exploitation step, emitters are used to optimize the performance of the discovered rewarding solutions. Experiments conducted on three different sparse reward environments show that STAX performs comparably to existing baselines while requiring much less prior information about the task as it autonomously builds the behavior space.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google