Understanding the Importance of Evolutionary Search in Automated Heuristic Design with Large Language Models

要約

自動ヒューリスティック設計 (AHD) は、効果的なヒューリスティックの開発を自動化できる可能性があるため、大きな注目を集めています。
最近の大規模言語モデル (LLM) の出現により、AHD に新たな道が開かれ、初期の取り組みでは AHD を進化的プログラム探索 (EPS) 問題として組み立てることに焦点が当てられました。
しかし、一貫性のないベンチマーク設定、不適切なベースライン、および詳細なコンポーネント分析の欠如により、LLM と検索戦略を統合する必要性が残されており、既存の LLM ベースの EPS 手法によって達成される真の進歩は十分に正当化されません。
この研究は、9 つ​​の LLM と 5 つの独立した実行にわたる 4 つの LLM ベースの EPS 手法と 4 つの AHD 問題からなる大規模なベンチマークを実行することにより、これらの研究クエリを満たすことを目指しています。
私たちの広範な実験は有意義な洞察をもたらし、LLM ベースの AHD アプローチにおける進化的探索の重要性に対する経験的根拠を提供すると同時に、将来の EPS アルゴリズム開発の進歩にも貢献します。
アクセシビリティと再現性を促進するために、ベンチマークと対応する結果を完全にオープンソース化しました。

要約(オリジナル)

Automated heuristic design (AHD) has gained considerable attention for its potential to automate the development of effective heuristics. The recent advent of large language models (LLMs) has paved a new avenue for AHD, with initial efforts focusing on framing AHD as an evolutionary program search (EPS) problem. However, inconsistent benchmark settings, inadequate baselines, and a lack of detailed component analysis have left the necessity of integrating LLMs with search strategies and the true progress achieved by existing LLM-based EPS methods to be inadequately justified. This work seeks to fulfill these re- search queries by conducting a large-scale benchmark comprising four LLM-based EPS methods and four AHD problems across nine LLMs and five independent runs. Our extensive experiments yield meaningful insights, providing empirical grounding for the importance of evolutionary search in LLM-based AHD approaches, while also contributing to the advancement of future EPS algorithmic development. To foster accessibility and reproducibility, we have fully open-sourced our benchmark and corresponding results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google