Language-Based Bayesian Optimization Research Assistant (BORA)

要約

多くの重要な科学的問題には、ゆっくりと骨の折れる実験的測定と相まって、多変量最適化が含まれます。
これらの複雑で高次元の検索は、ヘイスタックの針の表面に似た非凸最適化ランドスケープによって定義され、ローカルミニマに閉じ込められます。
人間のドメインの知識を持つオプティマーのコンテキスト化は、ローカライズされた実り多い地域への検索を導くための強力なアプローチです。
ただし、このアプローチは人間の確認バイアスの影響を受けやすく、ドメインの専門家が急速に拡大する科学文献を追跡することも困難です。
ここでは、LLMからのドメインナレッジベースの洞察と確率的推論をインテリジェントかつ経済的にブレンドするハイブリッド最適化フレームワークを介して、ベイジアン最適化（BO）にコンテキスト化するための大規模な言語モデル（LLM）の使用を提案します。
– 探索のための検索スペースの実績のある領域。
私たちの方法は、最適化の進捗状況に関するリアルタイムの解説を提供し、検索戦略の背後にある理由を説明することにより、ユーザーのエンゲージメントを促進します。
最大15の独立変数を備えた合成ベンチマークに対するアプローチの有効性を検証し、コンテキストが認識している提案が最適化のパフォーマンスを大幅に向上させる4つの実際の実験タスクでLLMSが推論する能力を実証します。

要約(オリジナル)

Many important scientific problems involve multivariate optimization coupled with slow and laborious experimental measurements. These complex, high-dimensional searches can be defined by non-convex optimization landscapes that resemble needle-in-a-haystack surfaces, leading to entrapment in local minima. Contextualizing optimizers with human domain knowledge is a powerful approach to guide searches to localized fruitful regions. However, this approach is susceptible to human confirmation bias and it is also challenging for domain experts to keep track of the rapidly expanding scientific literature. Here, we propose the use of Large Language Models (LLMs) for contextualizing Bayesian optimization (BO) via a hybrid optimization framework that intelligently and economically blends stochastic inference with domain knowledge-based insights from the LLM, which is used to suggest new, better-performing areas of the search space for exploration. Our method fosters user engagement by offering real-time commentary on the optimization progress, explaining the reasoning behind the search strategies. We validate the effectiveness of our approach on synthetic benchmarks with up to 15 independent variables and demonstrate the ability of LLMs to reason in four real-world experimental tasks where context-aware suggestions boost optimization performance substantially.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google