Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization

要約

タイトル：ベイジアン最適化における線形化ラプラス法の約束と落とし穴
要約：線形化ラプラス近似法（LLA）は、ベイジアンニューラルネットワークを構築するのに効果的で効率的であることが示されています。これは理論的に妥当であり、ニューラルネットワークの最大事後予測関数によって与えられる平均関数と実験的なニューラルタンジェントカーネルによって導入された共分散関数を持つガウス過程事後分布と見ることができます。しかし、その効果は画像分類などの大規模なタスクで研究されていますが、ガウス過程の場合、単純な平均関数と核関数（例えば放射基底関数）を持っているという理由で、ベイジアン最適化などの連続的な決定問題では研究されていません。本研究では、LLAの有用性と柔軟性について研究し、その強いパフォーマンスを示します。しかし、境界のない検索空間の場合、LLAに関する潜在的な問題や落とし穴も解説しています。

– LLAはベイジアンニューラルネットワーク構築に効果的である
– LLAは、ニューラルネットワークの最大事後予測関数とニューラルタンジェントカーネルによる共分散関数を持つガウス過程事後分布と見ることができる
– LLAは、image classificationなどの大規模なタスクで研究されているが、ベイジアン最適化などの連続的な決定問題では研究されていない
– 本研究では、LLAの有用性と柔軟性について研究し、その強いパフォーマンスを示す
– 境界のない検索空間の場合、LLAに潜在的な問題や落とし穴がある

要約(オリジナル)

The linearized-Laplace approximation (LLA) has been shown to be effective and efficient in constructing Bayesian neural networks. It is theoretically compelling since it can be seen as a Gaussian process posterior with the mean function given by the neural network’s maximum-a-posteriori predictive function and the covariance function induced by the empirical neural tangent kernel. However, while its efficacy has been studied in large-scale tasks like image classification, it has not been studied in sequential decision-making problems like Bayesian optimization where Gaussian processes — with simple mean functions and kernels such as the radial basis function — are the de-facto surrogate models. In this work, we study the usefulness of the LLA in Bayesian optimization and highlight its strong performance and flexibility. However, we also present some pitfalls that might arise and a potential problem with the LLA when the search space is unbounded.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI