HSEvo: Elevating Automatic Heuristic Design with Diversity-Driven Harmony Search and Genetic Algorithm Using LLMs

要約

自動ヒューリスティック設計 (AHD) は、現実世界での複雑な検索や NP 困難な組み合わせ最適化問題の解決に役立つため、活発な研究分野です。
大規模言語モデル (LLM) の最近の進歩により、LLM と進化的計算を組み合わせて、LLM ベースの進化的プログラム検索 (LLM-EPS) として知られるヒューリスティックを自動的に生成することにより、新たな可能性がもたらされました。
以前の LLM-EPS 研究では、さまざまなタスクで優れたパフォーマンスが得られましたが、ヒューリスティック検索スペースの特性の理解と、大規模なヒューリスティック検索スペースで重要な要素である探索と活用のバランスの達成には、まだギャップがあります。
この研究では、2 つのダイバーシティ測定基準を提案することでこのギャップに対処し、FunSearch、EoH、ReEvo などの以前の LLM-EPS アプローチの分析を実行します。
ブラックボックス AHD 問題の結果は、EoH が FunSearch や ReEvo よりも高い多様性を示している一方で、その客観的スコアが不安定であることを明らかにしています。
逆に、ReEvo のリフレクション メカニズムは優れた客観的スコアをもたらしますが、多様性を効果的に最適化することができません。
この発見を念頭に置いて、調和検索アルゴリズムにより多様性と収束の間のバランスを維持する適応型 LLM-EPS フレームワークである HSEvo を紹介します。
実験を通じて、HSEvo はコスト効率を維持しながら、高い多様性指数と優れた客観的スコアを達成したことがわかりました。
これらの結果は、LLM-EPS のフレームワークを設計する際に、探索と活用のバランスをとり、ヒューリスティックな検索空間を理解することの重要性を強調しています。

要約(オリジナル)

Automatic Heuristic Design (AHD) is an active research area due to its utility in solving complex search and NP-hard combinatorial optimization problems in the real world. The recent advancements in Large Language Models (LLMs) introduce new possibilities by coupling LLMs with evolutionary computation to automatically generate heuristics, known as LLM-based Evolutionary Program Search (LLM-EPS). While previous LLM-EPS studies obtained great performance on various tasks, there is still a gap in understanding the properties of heuristic search spaces and achieving a balance between exploration and exploitation, which is a critical factor in large heuristic search spaces. In this study, we address this gap by proposing two diversity measurement metrics and perform an analysis on previous LLM-EPS approaches, including FunSearch, EoH, and ReEvo. Results on black-box AHD problems reveal that while EoH demonstrates higher diversity than FunSearch and ReEvo, its objective score is unstable. Conversely, ReEvo’s reflection mechanism yields good objective scores but fails to optimize diversity effectively. With this finding in mind, we introduce HSEvo, an adaptive LLM-EPS framework that maintains a balance between diversity and convergence with a harmony search algorithm. Through experimentation, we find that HSEvo achieved high diversity indices and good objective scores while remaining cost-effective. These results underscore the importance of balancing exploration and exploitation and understanding heuristic search spaces in designing frameworks in LLM-EPS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google