AutoRL Hyperparameter Landscapes

要約

タイトル：AutoRL Hyperparameter Landscapes

要約：
-強化学習（RL）は印象的な結果を生み出すことができるが、その使用はハイパーパラメータのパフォーマンスへの影響によって制限されている
– Automated RL（AutoRL）はこの困難に対処するが、最適な構成を探索するためにHPOメソッドが遍歴するハイパーパラメータランドスケープの動態についてはほとんど知られていない
-既存のAutoRLアプローチがハイパーパラメータ構成を動的に調整することを考慮して、我々は訓練中の複数のタイミングでこれらのハイパーパラメータランドスケープを構築・分析するアプローチを提案する
-RLの文献（DQNとSAC）から代表的なアルゴリズムと、異なる種類の環境（CartpoleとHopper）において、ハイパーパラメータランドスケープは時間とともに大きく変化することを実証し、訓練中にハイパーパラメータを動的に調整することの合理性に関する重要な課題に対処します。
-ハイパーパラメータランドスケープの分析を介してAutoRL問題に関するより多くの洞察が得られる可能性を示しています。

要約(オリジナル)

Although Reinforcement Learning (RL) has shown to be capable of producing impressive results, its use is limited by the impact of its hyperparameters on performance. This often makes it difficult to achieve good results in practice. Automated RL (AutoRL) addresses this difficulty, yet little is known about the dynamics of the hyperparameter landscapes that hyperparameter optimization (HPO) methods traverse in search of optimal configurations. In view of existing AutoRL approaches dynamically adjusting hyperparameter configurations, we propose an approach to build and analyze these hyperparameter landscapes not just for one point in time but at multiple points in time throughout training. Addressing an important open question on the legitimacy of such dynamic AutoRL approaches, we provide thorough empirical evidence that the hyperparameter landscapes strongly vary over time across representative algorithms from RL literature (DQN and SAC) in different kinds of environments (Cartpole and Hopper). This supports the theory that hyperparameters should be dynamically adjusted during training and shows the potential for more insights on AutoRL problems that can be gained through landscape analyses.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI