A General Framework for User-Guided Bayesian Optimization

要約

評価にコストがかかるブラックボックス関数の最適化は、さまざまな科学分野で普及しています。
ベイジアン最適化は、基礎となる関数ダイナミクスに関する最小限の知識でこれらの問題を解決できる、自動かつ一般的でサンプル効率の高い方法です。
ただし、最適化を加速するために当面の関数に関する事前の知識や信念を組み込むベイズ最適化の能力には限界があるため、予算が限られている知識豊富な実践者にとっては魅力が減ります。
ドメインの専門家が最適化ルーチンをカスタマイズできるようにするために、オプティマイザの可能性の高い位置や最適値など、典型的なカーネル構造を超えた事前の信念を組み込むための初のベイジアン原理フレームワークである ColaBO を提案します。
ColaBO は汎用性があるため、さまざまなモンテカルロ取得関数やユーザーの信念の種類に適用できます。
事前の情報が正確な場合には最適化を大幅に加速し、誤解を招く場合にはほぼデフォルトのパフォーマンスを維持する ColaBO の能力を経験的に示しています。

要約(オリジナル)

The optimization of expensive-to-evaluate black-box functions is prevalent in various scientific disciplines. Bayesian optimization is an automatic, general and sample-efficient method to solve these problems with minimal knowledge of the underlying function dynamics. However, the ability of Bayesian optimization to incorporate prior knowledge or beliefs about the function at hand in order to accelerate the optimization is limited, which reduces its appeal for knowledgeable practitioners with tight budgets. To allow domain experts to customize the optimization routine, we propose ColaBO, the first Bayesian-principled framework for incorporating prior beliefs beyond the typical kernel structure, such as the likely location of the optimizer or the optimal value. The generality of ColaBO makes it applicable across different Monte Carlo acquisition functions and types of user beliefs. We empirically demonstrate ColaBO’s ability to substantially accelerate optimization when the prior information is accurate, and to retain approximately default performance when it is misleading.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google