Instance-Dependent Bounds for Zeroth-order Lipschitz Optimization with Error Certificates

要約

$\mathbb R^d$ のコンパクトなサブセット $\mathcal X$ で定義されたリプシッツ関数 $f$ のゼロ次 (ブラック ボックス) 最適化の問題を研究し、アルゴリズムが精度を証明する必要があるという追加の制約を加えます。
彼らの推奨事項の。
リプシッツ関数 $f$ の最適な評価数を特徴付けて、精度 $\varepsilon$ で $f$ のおおよそのマキシマイザーを見つけて認定します。
$\mathcal X$ の弱い仮定の下で、この最適なサンプル複雑度は積分 $\int_{\mathcal X} \mathrm{d}\boldsymbol x/( \max(f) – f(
\boldsymbol x) + \varepsilon )^d$.
次元 $d=1$ でのみ (そして部分的に) 知られているこの結果は、1991 年にさかのぼる未解決の問題を解決します。手法に関しては、上限は Bouttier al. によってバインドされたパッキングに依存しています。
(2020) 上記の積分にリンクする Piyavskii-Shubert アルゴリズムについて。
また、計算上扱いやすい DOO アルゴリズムの認定バージョンが、これらのパッキングと積分範囲に一致することも示します。
インスタンスに依存する下限は、リプシッツの設定における従来の最悪ケースの下限とは異なり、他の学習タスクに役立つ可能性が高い局所的な最悪ケースの分析に依存しています。

要約(オリジナル)

We study the problem of zeroth-order (black-box) optimization of a Lipschitz function $f$ defined on a compact subset $\mathcal X$ of $\mathbb R^d$, with the additional constraint that algorithms must certify the accuracy of their recommendations. We characterize the optimal number of evaluations of any Lipschitz function $f$ to find and certify an approximate maximizer of $f$ at accuracy $\varepsilon$. Under a weak assumption on $\mathcal X$, this optimal sample complexity is shown to be nearly proportional to the integral $\int_{\mathcal X} \mathrm{d}\boldsymbol x/( \max(f) – f(\boldsymbol x) + \varepsilon )^d$. This result, which was only (and partially) known in dimension $d=1$, solves an open problem dating back to 1991. In terms of techniques, our upper bound relies on a packing bound by Bouttier al. (2020) for the Piyavskii-Shubert algorithm that we link to the above integral. We also show that a certified version of the computationally tractable DOO algorithm matches these packing and integral bounds. Our instance-dependent lower bound differs from traditional worst-case lower bounds in the Lipschitz setting and relies on a local worst-case analysis that could likely prove useful for other learning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google