Bayesian Optimization via Continual Variational Last Layer Training

要約

ガウス過程 (GP) は、不確実性をモデル化する能力と、相関関係が容易に把握できるタスク (ユークリッド指標で定義されるタスクなど) でのパフォーマンスにより、ベイズ最適化 (BO) の最先端の代理モデルとして広く認識されています。
）およびオンラインで効率的に更新できる機能。
ただし、GP のパフォーマンスはカーネルの選択に依存し、複雑な相関構造に対するカーネルの選択は多くの場合困難であるか、特注で行う必要があります。
ベイジアン ニューラル ネットワーク (BNN) は、より高容量のサロゲート モデルにとって有望な方向性ですが、これまでのところ、一部の問題タイプではパフォーマンスが低いため、使用は限られています。
この論文では、BNN が通常苦手とする問題を含む、多くの問題タイプで競争力のあるパフォーマンスを示すアプローチを提案します。
私たちは変分ベイジアン最終層 (VBLL) に基づいて構築し、これらのモデルのトレーニングを GP での正確な条件付けに接続します。
私たちはこの接続を利用して、調整と最適化を交互に行う効率的なオンライン トレーニング アルゴリズムを開発します。
私たちの調査結果は、VBLL ネットワークが複雑な入力相関のあるタスクでは GP や他の BNN アーキテクチャよりも大幅に優れたパフォーマンスを示し、確立されたベンチマーク タスクでは適切に調整された GP のパフォーマンスに匹敵することを示唆しています。

要約(オリジナル)

Gaussian Processes (GPs) are widely seen as the state-of-the-art surrogate models for Bayesian optimization (BO) due to their ability to model uncertainty and their performance on tasks where correlations are easily captured (such as those defined by Euclidean metrics) and their ability to be efficiently updated online. However, the performance of GPs depends on the choice of kernel, and kernel selection for complex correlation structures is often difficult or must be made bespoke. While Bayesian neural networks (BNNs) are a promising direction for higher capacity surrogate models, they have so far seen limited use due to poor performance on some problem types. In this paper, we propose an approach which shows competitive performance on many problem types, including some that BNNs typically struggle with. We build on variational Bayesian last layers (VBLLs), and connect training of these models to exact conditioning in GPs. We exploit this connection to develop an efficient online training algorithm that interleaves conditioning and optimization. Our findings suggest that VBLL networks significantly outperform GPs and other BNN architectures on tasks with complex input correlations, and match the performance of well-tuned GPs on established benchmark tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google