Neural-BO: A Black-box Optimization Algorithm using Deep Neural Networks

要約

ベイジアン最適化 (BO) は、関数の評価にコストがかかる場合にブラックボックス関数をグローバルに最適化するための効果的なアプローチです。
これまでの研究のほとんどはガウス プロセスを使用してブラック ボックス関数をモデル化していますが、ガウス プロセスでカーネルを使用すると 2 つの問題が生じます。1 つ目は、カーネル ベースの手法はデータ ポイントの数に応じてあまり拡張できないこと、2 つ目は、カーネル メソッドは通常、
次元の呪いのため、複雑な構造の高次元データには効果がありません。
したがって、ニューラル ネットワークを使用してブラック ボックス関数をモデル化する新しいブラック ボックス最適化アルゴリズムを提案します。
私たちのアルゴリズムは、予測の不確実性を推定するためにベイジアン ニューラル ネットワークを必要としないため、計算的に有利です。
効率的な収束を示す NTK 理論の進歩を使用して、リグレスバウンドの観点からアルゴリズムの理論的動作を分析します。
合成最適化タスクと現実世界の最適化タスクの両方で実験を実行し、アルゴリズムが既存の手法と比較してサンプル効率が高いことを示します。

要約(オリジナル)

Bayesian Optimization (BO) is an effective approach for global optimization of black-box functions when function evaluations are expensive. Most prior works use Gaussian processes to model the black-box function, however, the use of kernels in Gaussian processes leads to two problems: first, the kernel-based methods scale poorly with the number of data points and second, kernel methods are usually not effective on complex structured high dimensional data due to curse of dimensionality. Therefore, we propose a novel black-box optimization algorithm where the black-box function is modeled using a neural network. Our algorithm does not need a Bayesian neural network to estimate predictive uncertainty and is therefore computationally favorable. We analyze the theoretical behavior of our algorithm in terms of regret bound using advances in NTK theory showing its efficient convergence. We perform experiments with both synthetic and real-world optimization tasks and show that our algorithm is more sample efficient compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google