Evolution of Heuristics: Towards Efficient Automatic Algorithm Design Using Large Language Mode

要約

ヒューリスティックは、複雑な検索や最適化の問題に取り組むために不可欠です。
ただし、手動によるヒューリスティック設計は退屈であり、人間のかなりの直感と経験が必要です。
この論文では、自動ヒューリスティック設計 (AHD) のための大規模言語モデル (LLM) と進化的計算 (EC) の間の相乗効果を活用する新しいパラダイムであるヒューリスティックの進化 (EoH) を紹介します。
EoH は、LLM によって生成された思考と呼ばれる言語記述を通じてヒューリスティックなアイデアを表し、実行可能なコード表現に変換されます。
進化的フレームワーク内での思考とコードの共進化により、計算コストを軽減しながら、優れた AHD パフォーマンスが提供されます。
3 種類の組み合わせ最適化ベンチマークの包括的な評価により、既存の AHD 手法に対して EoH が優れたパフォーマンスを示しています。
特に、EoH は、コード進化に焦点を当てた並行作業である FunSearch を上回り、オンライン ビン パッキング問題に関して、大幅に少ない計算予算 (つまり、LLM へのクエリ) で優れたヒューリスティックを特定します。
再現性とアクセシビリティを高めるために、ソース コードは https://github.com/FeiLiu36/EoH です。

要約(オリジナル)

Heuristics are indispensable for tackling complex search and optimization problems. However, manual heuristic design is tedious and demands significant human intuition and experience. This paper introduces Evolution of Heuristic (EoH), a novel paradigm that leverages the synergy between Large Language Models (LLMs) and Evolutionary Computation (EC) for Automatic Heuristic Design (AHD). EoH represents heuristic ideas through linguistic descriptions, termed thoughts, generated by LLMs, which are then translated into executable code representations. The coevolution of thoughts and codes within an evolutionary framework offers superior AHD performance while mitigating computational expenses. Comprehensive evaluations on three types of combinatorial optimization benchmarks demonstrate EoH’s outperformance against existing AHD methods. Notably, EoH surpasses FunSearch, a concurrent work focus on code evolution, identifying superior heuristics with significantly fewer computational budgets (i.e., queries to LLMs) on online bin packing problem. To foster reproducibility and accessibility, the source code is https://github.com/FeiLiu36/EoH.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google