Improving LLM-based Global Optimization with Search Space Partitioning

要約

大規模な言語モデル（LLM）は最近、高価なブラックボックス関数のグローバル最適化フレームワーク内で効果的な代理モデルおよび候補ジェネレーターとして浮上しました。
有望な結果にもかかわらず、LLMベースの方法はしばしば高次元の検索スペースで苦労しているか、ドメイン固有の事前に不足している場合、まばらまたは情報のない提案につながります。
これらの制限を克服するために、検索スペースを有望なサブリージョンに分割することによりLLM駆動型サンプリングを強化する新しいグローバルな最適化アルゴリズムであるHollmを提案します。
各サブリージョンは、探査と搾取のバランスをとる盗賊に触発されたスコアリングメカニズムを介して選択された「メタアーム」として機能します。
選択した各サブリージョン内で、LLMは明示的なドメイン知識なしに、高品質の候補ポイントを提案します。
標準的な最適化ベンチマークに関する経験的評価は、Hollがベイジアンの主要な最適化と信頼地域の主要なメソッドと一貫して一致または上回っている一方で、グローバルLLMベースのサンプリング戦略を大幅に上回っていることを示しています。

要約(オリジナル)

Large Language Models (LLMs) have recently emerged as effective surrogate models and candidate generators within global optimization frameworks for expensive blackbox functions. Despite promising results, LLM-based methods often struggle in high-dimensional search spaces or when lacking domain-specific priors, leading to sparse or uninformative suggestions. To overcome these limitations, we propose HOLLM, a novel global optimization algorithm that enhances LLM-driven sampling by partitioning the search space into promising subregions. Each subregion acts as a “meta-arm” selected via a bandit-inspired scoring mechanism that effectively balances exploration and exploitation. Within each selected subregion, an LLM then proposes high-quality candidate points, without any explicit domain knowledge. Empirical evaluation on standard optimization benchmarks shows that HOLLM consistently matches or surpasses leading Bayesian optimization and trust-region methods, while substantially outperforming global LLM-based sampling strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google