Every Call is Precious: Global Optimization of Black-Box Functions with Unknown Lipschitz Constants

要約

高価で非凸のブラックボックスリプシッツ連続関数を最適化することは、特に基礎となる関数のリプシッツ定数が不明な場合、重要な課題を提示します。
このような問題は、多くの場合、時間、エネルギー、またはリソースの点で法外になる可能性のあるグローバルな最適に近似するために多数の機能評価を必要とします。
この作業では、潜在的に最適な領域に戦略的に焦点を当てることにより、妥協のない評価を最小限に抑える新しいグローバルな最適化アルゴリズムであるすべてのコールIs Precious（ECP）を紹介します。
以前のアプローチとは異なり、ECPはリプシッツ定数を推定する必要性を排除し、それにより追加の関数評価を回避します。
ECPは、無限の評価予算のためにリグレットなしのパフォーマンスを保証し、有限予算内で最適な最適な後悔の範囲を達成します。
広範囲のアブレーション研究がアルゴリズムの堅牢性を検証し、経験的評価は、ECPがLipschitz、Bayesian、Bandits、および30の多次元非凸合成および実世界の最適化の問題にわたる10ベンチマークアルゴリズムを上回ることを示しています。
グローバルな最適化のためのアプローチ。

要約(オリジナル)

Optimizing expensive, non-convex, black-box Lipschitz continuous functions presents significant challenges, particularly when the Lipschitz constant of the underlying function is unknown. Such problems often demand numerous function evaluations to approximate the global optimum, which can be prohibitive in terms of time, energy, or resources. In this work, we introduce Every Call is Precious (ECP), a novel global optimization algorithm that minimizes unpromising evaluations by strategically focusing on potentially optimal regions. Unlike previous approaches, ECP eliminates the need to estimate the Lipschitz constant, thereby avoiding additional function evaluations. ECP guarantees no-regret performance for infinite evaluation budgets and achieves minimax-optimal regret bounds within finite budgets. Extensive ablation studies validate the algorithm’s robustness, while empirical evaluations show that ECP outperforms 10 benchmark algorithms including Lipschitz, Bayesian, bandits, and evolutionary methods across 30 multi-dimensional non-convex synthetic and real-world optimization problems, which positions ECP as a competitive approach for global optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google