Cumulative Regret Analysis of the Piyavskii–Shubert Algorithm and Its Variants for Global Optimization

要約

私たちは大域的最適化の問題を研究し、Piyavskii-Shubert アルゴリズムとそのバリアントのパフォーマンスを分析します。
任意の与えられた期間 $T$ に対して、広範囲に調査された単純な後悔 ($T$ までの最良推定値とグローバル最小値との間の損失の差) の代わりに、$T$ までの累積的な後悔を調査します。
。
$L$-Lipschitz 連続関数の場合、累積後悔が $O(L\log T)$ であることを示します。
$H$-Lipschitz の滑らかな関数の場合、累積後悔が $O(H)$ であることを示します。
リプシッツ連続関数とリプシッツ平滑関数の両方を個別にカバーするホルダー連続導関数を使用して関数の結果を解析的に拡張します。
さらに、Piyavskii-Shubert アルゴリズムのより単純な変形が、リプシッツ連続関数またはリプシッツ平滑関数の従来の変形と同様に機能することを示します。
さらに結果をより広範なクラスの関数に拡張し、アルゴリズムがクエリを効率的に決定することを示します。
そして、目標の極値における一般的な凸状または凹状の規則性条件（多くの先行する規則性を包含する）に対して、ほぼ最小の最適（対数因数まで）の累積後悔を達成します。
未知の規則性、ノイズの多い評価、および多変量領域を伴うシナリオにおける Piyavskii-Shubert バリアントのパフォーマンスを調査することにより、さらなる拡張を検討します。

要約(オリジナル)

We study the problem of global optimization, where we analyze the performance of the Piyavskii–Shubert algorithm and its variants. For any given time duration $T$, instead of the extensively studied simple regret (which is the difference of the losses between the best estimate up to $T$ and the global minimum), we study the cumulative regret up to time $T$. For $L$-Lipschitz continuous functions, we show that the cumulative regret is $O(L\log T)$. For $H$-Lipschitz smooth functions, we show that the cumulative regret is $O(H)$. We analytically extend our results for functions with Holder continuous derivatives, which cover both the Lipschitz continuous and the Lipschitz smooth functions, individually. We further show that a simpler variant of the Piyavskii-Shubert algorithm performs just as well as the traditional variants for the Lipschitz continuous or the Lipschitz smooth functions. We further extend our results to broader classes of functions, and show that, our algorithm efficiently determines its queries; and achieves nearly minimax optimal (up to log factors) cumulative regret, for general convex or even concave regularity conditions on the extrema of the objective (which encompasses many preceding regularities). We consider further extensions by investigating the performance of the Piyavskii-Shubert variants in the scenarios with unknown regularity, noisy evaluation and multivariate domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google