Event-Triggered Time-Varying Bayesian Optimization

要約

時変ベイジアン最適化 (TVBO) を使用して、時変目的関数を逐次最適化する問題を検討します。
時間変動から生じる古いデータに対処するために、TVBO に対する現在のアプローチでは、一定の変化率についての事前の知識が必要です。
ただし、実際には、変化率は通常不明です。
我々は、目的関数の変化を検出してデータセットをリセットするまで最適化問題を静的として扱う、イベントトリガーアルゴリズム ET-GP-UCB を提案します。
これにより、正確な事前知識を必要とせずに、アルゴリズムが現実の時間的変化にオンラインで適応できるようになります。
イベント トリガーは、ガウス過程回帰で使用される確率的一様誤差限界に基づいています。
私たちは、時間変化に関する正確な事前知識なしに適応リセットのリグレス限界を導き出し、数値実験で ET-GP-UCB が合成データと現実世界のデータの両方で最先端のアルゴリズムを上回るパフォーマンスを示すことを示しました。
この結果は、ET-GP-UCB が大規模なハイパーパラメータ調整なしでさまざまな設定に容易に適用できることを示しています。

要約(オリジナル)

We consider the problem of sequentially optimizing a time-varying objective function using time-varying Bayesian optimization (TVBO). To cope with stale data arising from time variations, current approaches to TVBO require prior knowledge of a constant rate of change. However, in practice, the rate of change is usually unknown. We propose an event-triggered algorithm, ET-GP-UCB, that treats the optimization problem as static until it detects changes in the objective function and then resets the dataset. This allows the algorithm to adapt online to realized temporal changes without the need for exact prior knowledge. The event trigger is based on probabilistic uniform error bounds used in Gaussian process regression. We derive regret bounds of adaptive resets without exact prior knowledge on the temporal changes, and show in numerical experiments that ET-GP-UCB outperforms state-of-the-art algorithms on both synthetic and real-world data. The results demonstrate that ET-GP-UCB is readily applicable to various settings without extensive hyperparameter tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google