Transfer Learning for Bayesian Optimization on Heterogeneous Search Spaces

要約

ベイジアン最適化 (BO) は、一般的なブラック ボックス関数の最適化手法であり、関数のベイジアン モデル、通常はガウス プロセス (GP) に基づいて逐次決定を行います。
モデルの品質を保証するために、「トレーニング」関数の観察から学習することで GP 事前分布を自動的に設計する転移学習アプローチが開発されました。
これらのトレーニング関数は通常、「テスト」関数 (最適化されるブラックボックス関数) と同じドメインを持つ必要があります。
この論文では、ドメイン固有のコンテキストから階層 GP の仕様へのニューラル ネット マッピングを使用する、異種ドメインでのモデル事前トレーニング手法である MPHD を紹介します。
MPHD は BO とシームレスに統合でき、異種の検索スペース間で知識を転送できます。
私たちの理論的および経験的結果は、MPHD の有効性と、困難なブラックボックス関数最適化タスクにおけるその優れたパフォーマンスを実証しています。

要約(オリジナル)

Bayesian optimization (BO) is a popular black-box function optimization method, which makes sequential decisions based on a Bayesian model, typically a Gaussian process (GP), of the function. To ensure the quality of the model, transfer learning approaches have been developed to automatically design GP priors by learning from observations on ‘training’ functions. These training functions are typically required to have the same domain as the ‘test’ function (black-box function to be optimized). In this paper, we introduce MPHD, a model pre-training method on heterogeneous domains, which uses a neural net mapping from domain-specific contexts to specifications of hierarchical GPs. MPHD can be seamlessly integrated with BO to transfer knowledge across heterogeneous search spaces. Our theoretical and empirical results demonstrate the validity of MPHD and its superior performance on challenging black-box function optimization tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google