EduGym: An Environment Suite for Reinforcement Learning Education

要約

強化学習の経験的な成功により、この主題を研究する学生の数が増加しています。
しかし、私たちの実際の教育経験から、この分野に参入した学生（学士、修士、初期の博士課程）がしばしば苦労していることがわかります。
一方で、教科書や（オンライン）講義は基礎を提供しますが、学生は方程式とコードの間を変換するのが難しいと感じています。
一方、公開コードベースは実用的な例を提供しますが、実装されるアルゴリズムは複雑になる傾向があり、基礎となるテスト環境には一度に複数の強化学習の課題が含まれます。
これは研究の観点からは現実的ですが、教育上の概念的理解を妨げることがよくあります。
この問題を解決するために、教育向けに調整された教育強化学習環境と関連するインタラクティブなノートブックのセットである EduGym を導入します。
各 EduGym 環境は、強化学習の特定の側面/課題 (探索、部分的な可観測性、確率性など) を説明するために特別に設計されており、関連するインタラクティブなノートブックでは、方程式とコードを結び付けて課題とその考えられる解決策を説明します。
単一の文書。
RL の学生と研究者を対象とした評価によると、86% の学生が EduGym が強化学習教育に有用なツールであると考えています。
すべてのノートブックは https://sites.google.com/view/edu-gym/home から入手でき、完全なソフトウェア パッケージは https://github.com/RLG-Leiden/edugym からインストールできます。

要約(オリジナル)

Due to the empirical success of reinforcement learning, an increasing number of students study the subject. However, from our practical teaching experience, we see students entering the field (bachelor, master and early PhD) often struggle. On the one hand, textbooks and (online) lectures provide the fundamentals, but students find it hard to translate between equations and code. On the other hand, public codebases do provide practical examples, but the implemented algorithms tend to be complex, and the underlying test environments contain multiple reinforcement learning challenges at once. Although this is realistic from a research perspective, it often hinders educational conceptual understanding. To solve this issue we introduce EduGym, a set of educational reinforcement learning environments and associated interactive notebooks tailored for education. Each EduGym environment is specifically designed to illustrate a certain aspect/challenge of reinforcement learning (e.g., exploration, partial observability, stochasticity, etc.), while the associated interactive notebook explains the challenge and its possible solution approaches, connecting equations and code in a single document. An evaluation among RL students and researchers shows 86% of them think EduGym is a useful tool for reinforcement learning education. All notebooks are available from https://sites.google.com/view/edu-gym/home, while the full software package can be installed from https://github.com/RLG-Leiden/edugym.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google