MALIBO: Meta-learning for Likelihood-free Bayesian Optimization

要約

ベイジアン最適化 (BO) は、コストのかかるブラックボックス関数を最適化するための一般的な方法です。
従来の BO は新しいターゲット タスクをそれぞれ最初から最適化しますが、メタ学習は関連タスクからの知識を活用して新しいタスクをより迅速に最適化する方法として登場しました。
ただし、既存のメタ学習 BO 手法は、スケーラビリティの問題があり、タスク全体で異なるスケールやノイズ タイプの観測に敏感なサロゲート モデルに依存しています。
さらに、タスクの類似性に伴う不確実性を見落とすことがよくあります。
これにより、限られた観測値しか得られない場合、または新しいタスクが関連タスクと大幅に異なる場合、信頼性の低いタスク適応が発生します。
これらの制限に対処するために、サロゲート モデルをバイパスし、タスク全体にわたるクエリの有用性を直接学習する新しいメタ学習 BO アプローチを提案します。
私たちの方法はタスクの不確実性を明示的にモデル化し、新しいタスクへの確実な適応を可能にする補助モデルを含んでいます。
広範な実験により、私たちの手法はいつでも強力なパフォーマンスを示し、さまざまなベンチマークで最先端のメタ学習 BO 手法を上回るパフォーマンスを示すことが示されています。

要約(オリジナル)

Bayesian optimization (BO) is a popular method to optimize costly black-box functions. While traditional BO optimizes each new target task from scratch, meta-learning has emerged as a way to leverage knowledge from related tasks to optimize new tasks faster. However, existing meta-learning BO methods rely on surrogate models that suffer from scalability issues and are sensitive to observations with different scales and noise types across tasks. Moreover, they often overlook the uncertainty associated with task similarity. This leads to unreliable task adaptation when only limited observations are obtained or when the new tasks differ significantly from the related tasks. To address these limitations, we propose a novel meta-learning BO approach that bypasses the surrogate model and directly learns the utility of queries across tasks. Our method explicitly models task uncertainty and includes an auxiliary model to enable robust adaptation to new tasks. Extensive experiments show that our method demonstrates strong anytime performance and outperforms state-of-the-art meta-learning BO methods in various benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google