Density Ratio Estimation-based Bayesian Optimization with Semi-Supervised Learning

要約

ベイジアン最適化は、評価にコストがかかるブラックボックス関数の大域的最適値を効率的に見つけることができるため、科学や工学のさまざまな研究分野から大きな注目を集めています。
一般に、ガウス過程やベイジアン ニューラル ネットワークなどの確率回帰モデルは、推定入力とトレーニング データセットが与えられた関数評価にわたる明示的な分布をモデル化するための代理関数として広く使用されています。
確率回帰ベースのベイズ最適化を超えて、全体最適に比較的近いグループと比較的遠いグループの密度比を推定するために、密度比推定ベースのベイズ最適化が提案されています。
この一連の研究をさらに発展させ、教師あり分類器を使用して、密度比の代わりに 2 つのグループのクラス確率を推定することができます。
ただし、この戦略で使用される教師あり分類器は、グローバルな解候補に対して過信する傾向があります。
この問題を解決するために、半教師あり学習による密度比推定ベースのベイズ最適化を提案します。
最後に、ラベルなしのポイント サンプリングと固定サイズのプールを使用した 2 つの異なるシナリオで、私たちの方法といくつかのベースライン方法の実験結果を示します。

要約(オリジナル)

Bayesian optimization has attracted huge attention from diverse research areas in science and engineering, since it is capable of finding a global optimum of an expensive-to-evaluate black-box function efficiently. In general, a probabilistic regression model, e.g., Gaussian processes and Bayesian neural networks, is widely used as a surrogate function to model an explicit distribution over function evaluations given an input to estimate and a training dataset. Beyond the probabilistic regression-based Bayesian optimization, density ratio estimation-based Bayesian optimization has been suggested in order to estimate a density ratio of the groups relatively close and relatively far to a global optimum. Developing this line of research further, a supervised classifier can be employed to estimate a class probability for the two groups instead of a density ratio. However, the supervised classifiers used in this strategy are prone to be overconfident for a global solution candidate. To solve this problem, we propose density ratio estimation-based Bayesian optimization with semi-supervised learning. Finally, we demonstrate the experimental results of our methods and several baseline methods in two distinct scenarios with unlabeled point sampling and a fixed-size pool.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google