Unexpected Improvements to Expected Improvement for Bayesian Optimization

要約

Expected Improvement (EI) はおそらくベイジアン最適化で最も一般的な取得関数であり、無数の成功したアプリケーションが見つかっていますが、そのパフォーマンスは、より最近の手法のパフォーマンスを上回ることがよくあります。
特に、EI とそのバリアント (並列設定や多目的設定を含む) は、多くの領域で取得値が数値的に消失するため、最適化が困難です。
この困難は一般に、観測数、検索空間の次元数、または制約の数が増加するにつれて増加し、その結果、パフォーマンスが文献全体で一貫性がなく、ほとんどの場合次善のパフォーマンスになります。
ここで、我々は、新しい取得関数ファミリーである LogEI を提案します。そのメンバーは、正規の対応物と同一またはほぼ等しい最適値を持ちますが、数値的に最適化するのが大幅に容易です。
我々は、数値的な病状が「古典的な」分析EI、期待ハイパーボリューム改善（EHVI）、およびその制約付き、ノイズの多い、並列のバリアントに現れることを実証し、これらの病状を改善する対応する再定式化を提案します。
私たちの経験的結果は、LogEI ファミリの取得関数のメンバーが、正規の対応する関数の最適化パフォーマンスを大幅に向上させ、驚くべきことに、最近の最先端の取得関数のパフォーマンスと同等かそれを超えていることを示しており、過小評価されている役割を浮き彫りにしています。
文献における数値最適化の研究。

要約(オリジナル)

Expected Improvement (EI) is arguably the most popular acquisition function in Bayesian optimization and has found countless successful applications, but its performance is often exceeded by that of more recent methods. Notably, EI and its variants, including for the parallel and multi-objective settings, are challenging to optimize because their acquisition values vanish numerically in many regions. This difficulty generally increases as the number of observations, dimensionality of the search space, or the number of constraints grow, resulting in performance that is inconsistent across the literature and most often sub-optimal. Herein, we propose LogEI, a new family of acquisition functions whose members either have identical or approximately equal optima as their canonical counterparts, but are substantially easier to optimize numerically. We demonstrate that numerical pathologies manifest themselves in ‘classic’ analytic EI, Expected Hypervolume Improvement (EHVI), as well as their constrained, noisy, and parallel variants, and propose corresponding reformulations that remedy these pathologies. Our empirical results show that members of the LogEI family of acquisition functions substantially improve on the optimization performance of their canonical counterparts and surprisingly, are on par with or exceed the performance of recent state-of-the-art acquisition functions, highlighting the understated role of numerical optimization in the literature.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google