PG-LBO: Enhancing High-Dimensional Bayesian Optimization with Pseudo-Label and Gaussian Process Guidance

要約

変分オートエンコーダ ベースのベイジアン最適化 (VAE-BO) は、高次元の構造化された最適化問題に対処する際に優れたパフォーマンスを発揮することが実証されています。
しかし、現在の主流の手法は、ラベルなしデータのプールを利用して潜在空間を構築する可能性を見落としており、ラベル付きデータを活用する洗練されたモデルの設計だけに集中しています。
ラベル付きデータを効果的に使用するにもかかわらず、これらの方法では多くの場合、追加のネットワーク構造や追加の手順が必要となり、計算効率が低下します。
この問題に対処するために、ラベル付きデータをガイドとしてラベルなしデータを効果的に利用する新しい方法を提案します。
具体的には、半教師あり学習から擬似ラベル付け手法を調整して、ラベルなしデータ内に隠された最適化目標値の相対的な大きさを明示的に明らかにします。
この手法に基づいて、ラベルのないデータに適切なトレーニング重みを割り当て、識別可能な潜在空間の構築を強化します。
さらに、ベイジアン最適化の VAE エンコーダーとガウス プロセス (GP) を統合ディープ カーネル学習プロセスとして扱い、ガウス プロセス ガイダンスと呼ばれるラベル付きデータの直接利用を可能にします。
これにより、GP の精度を向上させるという目標が VAE トレーニングに直接的かつ効果的に統合され、潜在空間の構築が導かれます。
広範な実験により、私たちが提案した方法がさまざまな最適化シナリオで既存の VAE-BO アルゴリズムよりも優れたパフォーマンスを発揮することが実証されました。
私たちのコードは https://github.com/TaicaiChen/PG-LBO で公開されます。

要約(オリジナル)

Variational Autoencoder based Bayesian Optimization (VAE-BO) has demonstrated its excellent performance in addressing high-dimensional structured optimization problems. However, current mainstream methods overlook the potential of utilizing a pool of unlabeled data to construct the latent space, while only concentrating on designing sophisticated models to leverage the labeled data. Despite their effective usage of labeled data, these methods often require extra network structures, additional procedure, resulting in computational inefficiency. To address this issue, we propose a novel method to effectively utilize unlabeled data with the guidance of labeled data. Specifically, we tailor the pseudo-labeling technique from semi-supervised learning to explicitly reveal the relative magnitudes of optimization objective values hidden within the unlabeled data. Based on this technique, we assign appropriate training weights to unlabeled data to enhance the construction of a discriminative latent space. Furthermore, we treat the VAE encoder and the Gaussian Process (GP) in Bayesian optimization as a unified deep kernel learning process, allowing the direct utilization of labeled data, which we term as Gaussian Process guidance. This directly and effectively integrates the goal of improving GP accuracy into the VAE training, thereby guiding the construction of the latent space. The extensive experiments demonstrate that our proposed method outperforms existing VAE-BO algorithms in various optimization scenarios. Our code will be published at https://github.com/TaicaiChen/PG-LBO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google