ARLBench: Flexible and Efficient Benchmarking for Hyperparameter Optimization in Reinforcement Learning

要約

ハイパーパラメータは、優れたパフォーマンスの強化学習 (RL) エージェントを確実にトレーニングするための重要な要素です。
残念ながら、このようなハイパーパラメータを調整するための自動化アプローチの開発と評価には、コストも時間もかかります。
その結果、そのようなアプローチは単一のドメインまたはアルゴリズムでのみ評価されることが多く、比較が困難になり、一般化可能性についての洞察が制限されます。
我々は、RL におけるハイパーパラメータ最適化 (HPO) のベンチマークである ARLBench を提案します。ARLBench は、評価効率が高く、さまざまな HPO アプローチの比較を可能にします。
コンピューティング リソースが少ない環境でも、RL での HPO の研究を可能にするために、さまざまなアルゴリズムと環境の組み合わせにわたる HPO タスクの代表的なサブセットを選択します。
この選択により、以前に必要だったコンピューティングの一部のみを使用して自動化された RL (AutoRL) メソッドのパフォーマンス プロファイルを生成できるようになり、より幅広い研究者が RL で HPO に取り組むことが可能になります。
ARLBench は、私たちが選択したハイパーパラメーター ランドスケープに関する広範かつ大規模なデータセットに基づいており、AutoRL の研究のための効率的で柔軟な未来志向の基盤となります。
ベンチマークとデータセットは両方とも https://github.com/automl/arlbench で入手できます。

要約(オリジナル)

Hyperparameters are a critical factor in reliably training well-performing reinforcement learning (RL) agents. Unfortunately, developing and evaluating automated approaches for tuning such hyperparameters is both costly and time-consuming. As a result, such approaches are often only evaluated on a single domain or algorithm, making comparisons difficult and limiting insights into their generalizability. We propose ARLBench, a benchmark for hyperparameter optimization (HPO) in RL that allows comparisons of diverse HPO approaches while being highly efficient in evaluation. To enable research into HPO in RL, even in settings with low compute resources, we select a representative subset of HPO tasks spanning a variety of algorithm and environment combinations. This selection allows for generating a performance profile of an automated RL (AutoRL) method using only a fraction of the compute previously necessary, enabling a broader range of researchers to work on HPO in RL. With the extensive and large-scale dataset on hyperparameter landscapes that our selection is based on, ARLBench is an efficient, flexible, and future-oriented foundation for research on AutoRL. Both the benchmark and the dataset are available at https://github.com/automl/arlbench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google