Cell-Free Latent Go-Explore

要約

タイトル：Cell-Free Latent Go-Explore（細胞フリーレーテント・ゴーエクスプロア）
要約：
– Latent Go-Explore（LGE）とは、強化学習（RL）において探索を実現するための手法で、Go-Exploreのパラダイムに基づくシンプルで汎用的なアプローチである。
– Go-Exploreは、状態空間をセルに分割するための強いドメイン知識制約に基づき導入された。しかし、現実世界のほとんどのシナリオでは、生データからドメイン知識を抽出することは複雑かつ困難であるため、セル分割の情報が十分でない場合、環境の探索に完全に失敗することがある。
– LGEは、学習済みの潜在表現を活用することで、セルなしで、ドメイン知識なしの、任意の環境に対してGo-Exploreアプローチを汎用的に適用できることを示している。
– LGEは、学習する潜在表現のストラテジーと柔軟に組み合わせることができ、Montezuma’s Revengeを含む複数の難易度の高い探索環境において、ゴー・エクスプロアよりも堅牢であり、最先端のアルゴリズムを上回る探索性能を発揮する。
– LGEの実装は https://github.com/qgallouedec/lge でオープンソースとして公開されている。

要約(オリジナル)

In this paper, we introduce Latent Go-Explore (LGE), a simple and general approach based on the Go-Explore paradigm for exploration in reinforcement learning (RL). Go-Explore was initially introduced with a strong domain knowledge constraint for partitioning the state space into cells. However, in most real-world scenarios, drawing domain knowledge from raw observations is complex and tedious. If the cell partitioning is not informative enough, Go-Explore can completely fail to explore the environment. We argue that the Go-Explore approach can be generalized to any environment without domain knowledge and without cells by exploiting a learned latent representation. Thus, we show that LGE can be flexibly combined with any strategy for learning a latent representation. Our results indicate that LGE, although simpler than Go-Explore, is more robust and outperforms state-of-the-art algorithms in terms of pure exploration on multiple hard-exploration environments including Montezuma’s Revenge. The LGE implementation is available as open-source at https://github.com/qgallouedec/lge.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI