Gaussian Process Thompson Sampling via Rootfinding

要約

トンプソン サンプリング (TS) は、ベイジアン意思決定におけるシンプルで効果的な確率論的ポリシーです。
報酬プロファイルに関する事後信念をサンプリングし、候補の決定を得るためにサンプルを最適化します。
連続最適化では、目的関数の事後関数はガウス過程 (GP) であることが多く、そのサンプル パスには多数の局所最適化があり、全体的な最適化が困難になります。
この研究では、勾配ベースのマルチスタート オプティマイザーの開始点を慎重に選択する、GP-TS の効率的なグローバル最適化戦略を紹介します。
これは、一変量グローバル根探索を通じて前のサンプルのすべての局所最適値を特定し、微分可能な分離表現を使用して事後サンプルを最適化します。
我々は、GP 事後サンプルの全体的な最適化、特に高次元での顕著な改善を実証しました。
これにより、GP-TS 取得関数を使用したベイジアン最適化の全体的なパフォーマンスが劇的に向上し、驚くべきことに GP-UCB や EI などの代替手法を上回ります。

要約(オリジナル)

Thompson sampling (TS) is a simple, effective stochastic policy in Bayesian decision making. It samples the posterior belief about the reward profile and optimizes the sample to obtain a candidate decision. In continuous optimization, the posterior of the objective function is often a Gaussian process (GP), whose sample paths have numerous local optima, making their global optimization challenging. In this work, we introduce an efficient global optimization strategy for GP-TS that carefully selects starting points for gradient-based multi-start optimizers. It identifies all local optima of the prior sample via univariate global rootfinding, and optimizes the posterior sample using a differentiable, decoupled representation. We demonstrate remarkable improvement in the global optimization of GP posterior samples, especially in high dimensions. This leads to dramatic improvements in the overall performance of Bayesian optimization using GP-TS acquisition functions, surprisingly outperforming alternatives like GP-UCB and EI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google