Neighbor Regularized Bayesian Optimization for Hyperparameter Optimization

要約

ベイジアン最適化 (BO) は、機械学習モデルのサンプル観測に基づいて最適なハイパーパラメーターを検索するための一般的なソリューションです。
既存の BO アルゴリズムは、潜在的な観測ノイズが最適化を誤った方向に向けると、ゆっくりと収束し、崩壊することさえあります。
この論文では、この問題を解決するために、Neighbor Regularized Bayesian Optimization (NRBO) と呼ばれる新しい BO アルゴリズムを提案します。
最初に、各サンプル観測を平滑化するための近隣ベースの正則化を提案します。これにより、追加のトレーニング コストなしで観測ノイズを効率的に削減できます。
近隣正則化は近隣エリアのサンプル密度に大きく依存するため、密度ベースの取得関数をさらに設計して、取得報酬を調整し、より安定した統計を取得します。
さらに、残りの計算リソースを条件として、フレームワークが合理的な正則化強度と密度報酬を維持するように、調整メカニズムを設計します。
ベイズマーク ベンチマークや、ImageNet や COCO などの重要なコンピューター ビジョン ベンチマークで実験を行っています。
広範な実験により、NRBO の有効性が実証されており、他の最先端の方法よりも一貫して優れています。

要約(オリジナル)

Bayesian Optimization (BO) is a common solution to search optimal hyperparameters based on sample observations of a machine learning model. Existing BO algorithms could converge slowly even collapse when the potential observation noise misdirects the optimization. In this paper, we propose a novel BO algorithm called Neighbor Regularized Bayesian Optimization (NRBO) to solve the problem. We first propose a neighbor-based regularization to smooth each sample observation, which could reduce the observation noise efficiently without any extra training cost. Since the neighbor regularization highly depends on the sample density of a neighbor area, we further design a density-based acquisition function to adjust the acquisition reward and obtain more stable statistics. In addition, we design a adjustment mechanism to ensure the framework maintains a reasonable regularization strength and density reward conditioned on remaining computation resources. We conduct experiments on the bayesmark benchmark and important computer vision benchmarks such as ImageNet and COCO. Extensive experiments demonstrate the effectiveness of NRBO and it consistently outperforms other state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google