Large Language Models to Enhance Bayesian Optimization

要約

ベイジアン最適化 (BO) は、複雑で評価にコストがかかるブラック ボックス関数を最適化するための強力なアプローチです。
その重要性は、特にハイパーパラメータ調整を含む多くのアプリケーションで強調されていますが、その有効性は、探索と活用の効率的なバランスに依存します。
BO 手法は大幅に進歩しましたが、このバランスをとることは依然としてデリケートなプロセスです。
この観点から、BO 内に大規模言語モデル (LLM) の機能を統合する新しいアプローチである LLAMBO を紹介します。
大まかに言うと、BO 問題を自然言語で組み立て、LLM が過去の評価に基づいて有望なソリューションを繰り返し提案および評価できるようにします。
より具体的には、コンテキストの理解、少数ショット学習の習熟度、LLM のドメイン知識を組み合わせることで、モデルベースの BO をどのように改善できるかを調査します。
私たちの調査結果は、LLAMBO がゼロショットのウォームスタートに効果的であり、特に観測値がまばらな探索の初期段階で、サロゲート モデリングと候補サンプリングを強化することを示しています。
私たちのアプローチはコンテキストに応じて実行され、LLM の微調整は必要ありません。
さらに、設計上モジュール化されているため、個々のコンポーネントを既存の BO フレームワークに統合したり、エンドツーエンドのメソッドとして連携して機能したりすることができます。
私たちは、ハイパーパラメータ調整の問題に対する LLAMBO の有効性を経験的に検証し、さまざまなベンチマーク、独自のタスク、合成タスクにわたる強力な経験的パフォーマンスを強調しています。

要約(オリジナル)

Bayesian optimization (BO) is a powerful approach for optimizing complex and expensive-to-evaluate black-box functions. Its importance is underscored in many applications, notably including hyperparameter tuning, but its efficacy depends on efficiently balancing exploration and exploitation. While there has been substantial progress in BO methods, striking this balance remains a delicate process. In this light, we present LLAMBO, a novel approach that integrates the capabilities of Large Language Models (LLM) within BO. At a high level, we frame the BO problem in natural language, enabling LLMs to iteratively propose and evaluate promising solutions conditioned on historical evaluations. More specifically, we explore how combining contextual understanding, few-shot learning proficiency, and domain knowledge of LLMs can improve model-based BO. Our findings illustrate that LLAMBO is effective at zero-shot warmstarting, and enhances surrogate modeling and candidate sampling, especially in the early stages of search when observations are sparse. Our approach is performed in context and does not require LLM finetuning. Additionally, it is modular by design, allowing individual components to be integrated into existing BO frameworks, or function cohesively as an end-to-end method. We empirically validate LLAMBO’s efficacy on the problem of hyperparameter tuning, highlighting strong empirical performance across a range of diverse benchmarks, proprietary, and synthetic tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google