Information-Theoretic Safe Bayesian Optimization

要約

逐次的な意思決定タスクを考えます。その目標は、事前に未知の (安全性) 制約に違反するパラメータを評価せずに、未知の関数を最適化することです。
一般的なアプローチは、未知の関数の前にガウス プロセスを配置し、高い確率で安全な領域でのみ評価を許可することです。
現在のほとんどの方法は領域の離散化に依存しており、連続的な場合に直接拡張することはできません。
さらに、制約に関する規則性の仮定を活用する方法により、追加の重要なハイパーパラメータが導入されます。
この論文では、GP 事後分布を直接利用して、評価すべき最も有益な安全パラメータを特定する、情報理論的な安全探索基準を提案します。
この探索基準とよく知られているベイズ最適化取得関数を組み合わせると、新しい安全なベイズ最適化選択基準が得られます。
私たちのアプローチは当然連続ドメインに適用でき、明示的なハイパーパラメーターを追加する必要はありません。
この方法を理論的に分析し、高い確率で安全制約に違反しないこと、および任意の精度まで安全な最適値の値を学習できることを示します。
実証的な評価により、データ効率とスケーラビリティの向上が実証されています。

要約(オリジナル)

We consider a sequential decision making task, where the goal is to optimize an unknown function without evaluating parameters that violate an a~priori unknown (safety) constraint. A common approach is to place a Gaussian process prior on the unknown functions and allow evaluations only in regions that are safe with high probability. Most current methods rely on a discretization of the domain and cannot be directly extended to the continuous case. Moreover, the way in which they exploit regularity assumptions about the constraint introduces an additional critical hyperparameter. In this paper, we propose an information-theoretic safe exploration criterion that directly exploits the GP posterior to identify the most informative safe parameters to evaluate. The combination of this exploration criterion with a well known Bayesian optimization acquisition function yields a novel safe Bayesian optimization selection criterion. Our approach is naturally applicable to continuous domains and does not require additional explicit hyperparameters. We theoretically analyze the method and show that we do not violate the safety constraint with high probability and that we learn about the value of the safe optimum up to arbitrary precision. Empirical evaluations demonstrate improved data-efficiency and scalability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google