PFNs4BO: In-Context Learning for Bayesian Optimization

要約

このペーパーでは、事前データ適合ネットワーク (PFN) をベイズ最適化 (BO) の柔軟な代用として使用します。
PFN は、効率的にサンプリングできる事前分布のコンテキスト内学習を通じて事後予測分布 (PPD) を近似するようにトレーニングされたニューラル プロセスです。
この柔軟性を BO のサロゲート モデリングにどのように利用できるかを説明します。
PFN を使用して、単純なガウス プロセス (GP)、高度な GP、およびベイジアン ニューラル ネットワーク (BNN) を模倣します。
さらに、最適値の位置に関するヒント (ユーザー事前分布) を許可したり、無関係な次元を無視したり、取得関数を学習することで近視性のない BO を実行したりするなど、さらなる情報を事前分布に組み込む方法を示します。
これらの拡張機能の根底にある柔軟性により、BO に PFN を使用する可能性が大きく広がります。
我々は、人工 GP サンプルと 3 つの異なるハイパーパラメータ最適化テストベッド (HPO-B、Bayesmark、PD1) に関する大規模評価における BO に対する PFN の有用性を実証します。
https://github.com/automl/PFNs4BO でトレーニング済みモデルと一緒にコードを公開しています。

要約(オリジナル)

In this paper, we use Prior-data Fitted Networks (PFNs) as a flexible surrogate for Bayesian Optimization (BO). PFNs are neural processes that are trained to approximate the posterior predictive distribution (PPD) through in-context learning on any prior distribution that can be efficiently sampled from. We describe how this flexibility can be exploited for surrogate modeling in BO. We use PFNs to mimic a naive Gaussian process (GP), an advanced GP, and a Bayesian Neural Network (BNN). In addition, we show how to incorporate further information into the prior, such as allowing hints about the position of optima (user priors), ignoring irrelevant dimensions, and performing non-myopic BO by learning the acquisition function. The flexibility underlying these extensions opens up vast possibilities for using PFNs for BO. We demonstrate the usefulness of PFNs for BO in a large-scale evaluation on artificial GP samples and three different hyperparameter optimization testbeds: HPO-B, Bayesmark, and PD1. We publish code alongside trained models at https://github.com/automl/PFNs4BO.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google