High-dimensional Bayesian Optimization via Semi-supervised Learning with Optimized Unlabeled Data Sampling

要約

タイトル：最適化された未ラベルデータのサンプリングを用いた半教師あり学習を経ての高次元ベイズ最適化

要約：

– ベイズ最適化はブラックボックス関数のグローバル最適解の探索に有用なツールであるが、ブラックボックス関数の評価は非常に高価である。
– 高価なラベル付きデータの使用を減らすことが望ましいため、半教師あり学習を活用する教師生徒モデルを初めて紹介する。
– 重要なことに、検証と未ラベルのデータ選択がBOのパフォーマンスに重要であることを示す。
– 未ラベルデータのサンプリングを最適化するために、双層最適化フレームワークの一部として最適化されたブラックボックスパラメータ化サンプリング分布を採用する。
– さらに一歩進んで、動的に適合する極値分布から未ラベルデータを選択することで、BOのパフォーマンスをさらに改善できることを示す。
– 提案されたアプローチは学習済み潜在空間で動作し、対象が高次元であっても拡張性がある。
– このBO法は、いくつかの合成および実世界の最適化タスクで既存のBO法を大幅に上回る性能を発揮する。

要約(オリジナル)

Bayesian optimization (BO) is a powerful tool for seeking the global optimum of black-box functions. While evaluations of the black-box functions can be highly costly, it is desirable to reduce the use of expensive labeled data. For the first time, we introduce a teacher-student model to exploit semi-supervised learning that can make use of large amounts of unlabelled data under the context of BO. Importantly, we show that the selection of the validation and unlabeled data is key to the performance of BO. To optimize the sampling of unlabeled data, we employ a black-box parameterized sampling distribution optimized as part of the employed bi-level optimization framework. Taking one step further, we demonstrate that the performance of BO can be further improved by selecting unlabeled data from a dynamically fitted extreme value distribution. Our BO method operates in a learned latent space with reduced dimensionality, making it scalable to high-dimensional problems. The proposed approach outperforms significantly the existing BO methods on several synthetic and real-world optimization tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI