Tree-structured Parzen estimator: Understanding its algorithm components and their roles for better empirical performance

要約

タイトル：木構造パルツェン推定器：そのアルゴリズムの要素と役割の理解によるより良い実験的性能。

要約：

– 最近の多くの領域の進歩により、より複雑な実験デザインが必要になっている。
– これらの複雑な実験には多くのパラメータがあり、パラメータの調整が必要になる。
– Tree-structured Parzen estimator（TPE）はベイズ最適化法の一種であり、最近のパラメータ調整フレームワークで広く使用されている。
– しかし、各制御パラメータとアルゴリズムの直感的な役割については、今まで議論されていなかった。
– 本チュートリアルでは、様々なベンチマーク実験を用いて、各制御パラメータの役割およびハイパーパラメータ最適化への影響を特定する。
– 著者らは、消去法研究から推奨される設定と、既存の手法とを比較し、推奨される設定によってTPEの性能が向上することを示す。
– TPEの実装は、https://github.com/nabenabe0928/tpe/tree/single-optで利用可能である。

要約(オリジナル)

Recent advances in many domains require more and more complicated experiment design. Such complicated experiments often have many parameters, which necessitate parameter tuning. Tree-structured Parzen estimator (TPE), a Bayesian optimization method, is widely used in recent parameter tuning frameworks. Despite its popularity, the roles of each control parameter and the algorithm intuition have not been discussed so far. In this tutorial, we will identify the roles of each control parameter and their impacts on hyperparameter optimization using a diverse set of benchmarks. We compare our recommended setting drawn from the ablation study with baseline methods and demonstrate that our recommended setting improves the performance of TPE. Our TPE implementation is available at https://github.com/nabenabe0928/tpe/tree/single-opt.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI