Sequential Large Language Model-Based Hyper-parameter Optimization

要約

本研究では、ハイパーパラメータ最適化(HPO)のために大規模言語モデル(LLM)を活用する革新的なフレームワークであるSLLMBOを紹介する。SLLMBOは、動的な探索空間の適応性、強化されたパラメータ空間の利用、および新しいLLM-木構造パーゼン推定量(LLM-TPE)サンプラーを組み込んでいる。SLLMBOは、最近の完全LLMベースの手法や従来のベイジアン最適化（BO）の限界に対処することで、よりロバストな最適化を実現する。この包括的なベンチマークでは、GPT-3.5-Turbo、GPT-4o、Claude-Sonnet-3.5、Gemini-1.5-Flashを含む複数のLLMを評価し、先行研究を拡張し、SLLMBOをHPOの多様なLLMをベンチマークする最初のフレームワークとして確立した。パラメータ初期化におけるLLMの確立された強みと、本研究で実証された探索能力を、TPEの探索能力と統合することで、LLM-TPEサンプラーは、バランスの取れた探索-探索のトレードオフを達成し、APIコストを削減し、より効果的なパラメータ探索のための早期の停止を緩和する。分類と回帰の14の表タスクにおいて、LLM-TPEサンプラーは完全なLLMベースの手法を上回り、9つのタスクでBO手法を上回る結果を達成した。予算に制約のあるシナリオで早期停止をテストした結果、競争力のある性能が実証され、LLMベースの手法は一般的に、最適な結果を得るためには反復回数を増やすことが有効であることが示された。本研究は、オープンソースのLLM、HPOにおけるLLM結果の再現性、および画像分類、セグメンテーション、機械翻訳などの複雑なデータセットにおけるSLLMBOのベンチマークを探求する今後の研究の基礎を築くものである。

要約(オリジナル)

This study introduces SLLMBO, an innovative framework leveraging large language models (LLMs) for hyperparameter optimization (HPO), incorporating dynamic search space adaptability, enhanced parameter space exploitation, and a novel LLM-tree-structured parzen estimator (LLM-TPE) sampler. By addressing limitations in recent fully LLM-based methods and traditional bayesian optimization (BO), SLLMBO achieves more robust optimization. This comprehensive benchmarking evaluates multiple LLMs, including GPT-3.5-Turbo, GPT-4o, Claude-Sonnet-3.5, and Gemini-1.5-Flash, extending prior work and establishing SLLMBO as the first framework to benchmark a diverse set of LLMs for HPO. By integrating LLMs’ established strengths in parameter initialization with the exploitation abilities demonstrated in this study, alongside TPE’s exploration capabilities, the LLM-TPE sampler achieves a balanced exploration-exploitation trade-off, reduces API costs, and mitigates premature early stoppings for more effective parameter searches. Across 14 tabular tasks in classification and regression, the LLM-TPE sampler outperformed fully LLM-based methods and achieved superior results over BO methods in 9 tasks. Testing early stopping in budget-constrained scenarios demonstrated competitive performance, indicating that LLM-based methods generally benefit from extended iterations for optimal results. This work lays the foundation for future research exploring open-source LLMs, reproducibility of LLM results in HPO, and benchmarking SLLMBO on complex datasets, such as image classification, segmentation, and machine translation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL