Tree-structured Parzen estimator: Understanding its algorithm components and their roles for better empirical performance

要約

タイトル: ツリー構造パーゼン推定器：そのアルゴリズム構成要素とその役割を理解して、より良い実証的な性能を得るために

要約：多くの分野での最近の進展には、ますます複雑な実験の設計が必要です。このような複雑な実験には、多数のパラメータが存在するため、パラメータの調整が必要になります。ベイズ最適化手法であるツリー構造パーゼン推定器（TPE）は、最近のパラメータ調整フレームワークで広く使用されています。しかし、各制御パラメータの役割やアルゴリズムの直感についてはまだ議論されていませんでした。このチュートリアルでは、さまざまなベンチマークを用いて、各制御パラメータの役割とハイパーパラメータ最適化への影響を特定します。我々は、詳細な研究から得られた推奨設定をベースライン方法と比較し、我々の推奨設定がTPEの性能を改善することを実証します。我々のTPE実装は、https://github.com/nabenabe0928/tpe/tree/single-optで利用できます。

– TPEは、ベイズ最適化手法であり、広く使用されているが、各制御パラメータの役割やアルゴリズムの直感についてはまだ議論されていない。
– 複雑な実験にはパラメータが多数存在し、パラメータの調整が必要になる。
– 本研究では、さまざまなベンチマークを用いて、各制御パラメータの役割とハイパーパラメータ最適化への影響を特定し、最適な設定を提案する。
– 最適な設定は、ベースライン方法と比較してTPEの性能を改善することが実証されている。
– TPEの実装は、https://github.com/nabenabe0928/tpe/tree/single-optで提供されている。

要約(オリジナル)

Recent advances in many domains require more and more complicated experiment design. Such complicated experiments often have many parameters, which necessitate parameter tuning. Tree-structured Parzen estimator (TPE), a Bayesian optimization method, is widely used in recent parameter tuning frameworks. Despite its popularity, the roles of each control parameter and the algorithm intuition have not been discussed so far. In this tutorial, we will identify the roles of each control parameter and their impacts on hyperparameter optimization using a diverse set of benchmarks. We compare our recommended setting drawn from the ablation study with baseline methods and demonstrate that our recommended setting improves the performance of TPE. Our TPE implementation is available at https://github.com/nabenabe0928/tpe/tree/single-opt.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI