Cost-aware Bayesian optimization via the Pandora’s Box Gittins index

要約

ベイジアン最適化は、未知の関数をブラックボックス方式で効率的に最適化する手法です。
データ収集に有限のリソースの使用が必要な実際の設定に対処するには、関数評価コストをベイジアン最適化ポリシーに明示的に組み込むことが望ましいです。
その方法を理解するために、コストを意識したベイジアン最適化と経済学の意思決定問題であるパンドラの箱問題との間のこれまで解明されていない関係を開発します。
パンドラの箱問題では、Gittins インデックスと呼ばれる式に基づくベイズ最適解が認められます。これは取得関数として再解釈できます。
私たちは、コストを意識したベイジアン最適化のためのこの取得関数の使用を研究し、特に中高次元で良好なパフォーマンスを発揮することを経験的に実証します。
さらに、このパフォーマンスは明示的な評価コストなしで古典的なベイズ最適化にも引き継がれることを示します。
私たちの研究は、Gittins 指数理論の手法をベイズ最適化に統合するための最初のステップを構成します。

要約(オリジナル)

Bayesian optimization is a technique for efficiently optimizing unknown functions in a black-box manner. To handle practical settings where gathering data requires use of finite resources, it is desirable to explicitly incorporate function evaluation costs into Bayesian optimization policies. To understand how to do so, we develop a previously-unexplored connection between cost-aware Bayesian optimization and the Pandora’s Box problem, a decision problem from economics. The Pandora’s Box problem admits a Bayesian-optimal solution based on an expression called the Gittins index, which can be reinterpreted as an acquisition function. We study the use of this acquisition function for cost-aware Bayesian optimization, and demonstrate empirically that it performs well, particularly in medium-high dimensions. We further show that this performance carries over to classical Bayesian optimization without explicit evaluation costs. Our work constitutes a first step towards integrating techniques from Gittins index theory into Bayesian optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google