Sample Complexity for Quadratic Bandits: Hessian Dependent Bounds and Optimal Algorithms

要約

確率的 0 次最適化では、実際に関連する問題は、基礎となる目的関数の局所幾何学的形状を完全に活用する方法を理解することです。
目的関数が 2 次である基本的な設定を考慮し、最適なヘシアン依存サンプルの複雑さの最初の厳密な特性評価を提供します。
私たちの貢献は 2 つあります。
まず、情報理論の観点から、検索アルゴリズムと目的関数の幾何学構造の間の相互作用を捉えるエネルギー割り当てと呼ばれる概念を導入することにより、ヘッセ行列に依存する複雑さの厳しい下限を証明します。
最適なエネルギー スペクトルを解くことによって、一致する上限が得られます。
次に、アルゴリズム的に、すべてのヘッセ行列インスタンスに対して漸近的な最適サンプル複雑度を普遍的に達成するヘッセ行列に依存しないアルゴリズムの存在を示します。
私たちのアルゴリズムによって達成される最適なサンプルの複雑さは、切り捨て法によって可能になるヘビーテールノイズ分布に対しても有効です。

要約(オリジナル)

In stochastic zeroth-order optimization, a problem of practical relevance is understanding how to fully exploit the local geometry of the underlying objective function. We consider a fundamental setting in which the objective function is quadratic, and provide the first tight characterization of the optimal Hessian-dependent sample complexity. Our contribution is twofold. First, from an information-theoretic point of view, we prove tight lower bounds on Hessian-dependent complexities by introducing a concept called energy allocation, which captures the interaction between the searching algorithm and the geometry of objective functions. A matching upper bound is obtained by solving the optimal energy spectrum. Then, algorithmically, we show the existence of a Hessian-independent algorithm that universally achieves the asymptotic optimal sample complexities for all Hessian instances. The optimal sample complexities achieved by our algorithm remain valid for heavy-tailed noise distributions, which are enabled by a truncation method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google