Optimum-statistical Collaboration Towards General and Efficient Black-box Optimization

要約

このホワイトペーパーでは、階層的なバンディットベースのブラックボックス最適化アルゴリズムにおける解像度と統計的不確実性の役割に関する重要な説明を行い、より一般的な分析とより効率的なアルゴリズム設計を導きます。
\textit{optimum-statistical Collaboration} を紹介します。これは、最適化プロセスで進化する最適化エラー フラックスと統計的エラー フラックスの間の相互作用を管理するアルゴリズム フレームワークです。
統計誤差と不確実性定量化の形式を指定せずに、このフレームワークの一般的な分析を提供します。
私たちのフレームワークとその分析は、その一般性により、さまざまな局所平滑性の仮定を満たし、さまざまな数の局所最適値を持つ関数とパーティションの大規模なファミリーに適用できます。これは、以前の研究で研究された関数のクラスよりもはるかに豊富です。
私たちのフレームワークはまた、統計的不確実性のより良い尺度を提案し、その結果、分散適応アルゴリズム \texttt{VHCT} を提案するよう促します。
理論的には、さまざまな局所的な滑らかさの仮定の下で、アルゴリズムがレート最適な後悔の境界を享受することを証明します。
実験では、さまざまな設定でアルゴリズムが以前の取り組みよりも優れていることを示しています。

要約(オリジナル)

In this paper, we make the key delineation on the roles of resolution and statistical uncertainty in hierarchical bandits-based black-box optimization algorithms, guiding a more general analysis and a more efficient algorithm design. We introduce the \textit{optimum-statistical collaboration}, an algorithm framework of managing the interaction between optimization error flux and statistical error flux evolving in the optimization process. We provide a general analysis of this framework without specifying the forms of statistical error and uncertainty quantifier. Our framework and its analysis, due to their generality, can be applied to a large family of functions and partitions that satisfy different local smoothness assumptions and have different numbers of local optimums, which is much richer than the class of functions studied in prior works. Our framework also inspires us to propose a better measure of the statistical uncertainty and consequently a variance-adaptive algorithm \texttt{VHCT}. In theory, we prove the algorithm enjoys rate-optimal regret bounds under different local smoothness assumptions; in experiments, we show the algorithm outperforms prior efforts in different settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google