Multi-Fidelity Bayesian Optimization with Unreliable Information Sources

要約

ベイジアン最適化 (BO) は、評価にコストがかかるブラックボックス関数を最適化するための強力なフレームワークです。
過去 10 年間、目的関数の安価で忠実度の低い近似を最適化プロセスに統合するための多くのアルゴリズムが提案されてきました。これは、低コストで大域的最適に収束することを目的としています。
このタスクは、一般にマルチフィデリティ ベイジアン最適化 (MFBO) と呼ばれます。
ただし、MFBO アルゴリズムは、特に低忠実度のソースが目的関数の近似値に乏しい場合、通常の BO の対応物よりも最適化コストが高くなる可能性があり、したがってその目的が無効になります。
この問題に対処するために、GP ベースの MFBO スキームを信頼性の低い情報源の追加に対して堅牢にする方法論である rMFBO (ロバスト MFBO) を提案します。
rMFBO には、高い制御可能な確率で、そのパフォーマンスがバニラ BO アナログにバインドできるという理論的な保証が付属しています。
提案された方法論が多くの数値ベンチマークで有効であることを実証し、信頼できない情報源に対する以前の MFBO 法よりも優れています。
rMFBO は、BO プロセス内にさまざまな知識を持つ人間の専門家を確実に含めるために特に役立つと期待しています。

要約(オリジナル)

Bayesian optimization (BO) is a powerful framework for optimizing black-box, expensive-to-evaluate functions. Over the past decade, many algorithms have been proposed to integrate cheaper, lower-fidelity approximations of the objective function into the optimization process, with the goal of converging towards the global optimum at a reduced cost. This task is generally referred to as multi-fidelity Bayesian optimization (MFBO). However, MFBO algorithms can lead to higher optimization costs than their vanilla BO counterparts, especially when the low-fidelity sources are poor approximations of the objective function, therefore defeating their purpose. To address this issue, we propose rMFBO (robust MFBO), a methodology to make any GP-based MFBO scheme robust to the addition of unreliable information sources. rMFBO comes with a theoretical guarantee that its performance can be bound to its vanilla BO analog, with high controllable probability. We demonstrate the effectiveness of the proposed methodology on a number of numerical benchmarks, outperforming earlier MFBO methods on unreliable sources. We expect rMFBO to be particularly useful to reliably include human experts with varying knowledge within BO processes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google