Algorithm Discovery With LLMs: Evolutionary Search Meets Reinforcement Learning

要約

複雑な問題を解決するための効率的なアルゴリズムを発見することは、数学とコンピューターサイエンスにおける顕著な課題であり、長年にわたって実質的な人間の専門知識を必要とします。
大規模な言語モデル（LLM）を使用した進化検索の最近の進歩は、特に数学と最適化において、さまざまなドメインにわたるアルゴリズムの発見を加速することに有望であることが示されています。
ただし、既存のアプローチは、LLMを静的発電機として扱い、進化的探査から得られた信号でモデルを更新する機会を欠いています。
この作業では、補強学習（RL）の微調整を通じて、検索演算子であるLLMを継続的に改良することにより、LLMベースの進化検索を強化することを提案します。
私たちの方法は、改善されたアルゴリズムを発見するための探索戦略として進化的検索を活用し、RLはこれらの発見に基づいてLLMポリシーを最適化します。
ビンパッキング、巡回セールスマン、フラットパックの問題など、3つの組み合わせ最適化タスクに関する実験は、RLと進化的検索を組み合わせることで、アルゴリズムの改善の発見効率を向上させ、RL強化された進化戦略の可能性を示して、より効率的なアルゴリスムデザインのためにコンピューター科学者と数学者を支援することを示しています。

要約(オリジナル)

Discovering efficient algorithms for solving complex problems has been an outstanding challenge in mathematics and computer science, requiring substantial human expertise over the years. Recent advancements in evolutionary search with large language models (LLMs) have shown promise in accelerating the discovery of algorithms across various domains, particularly in mathematics and optimization. However, existing approaches treat the LLM as a static generator, missing the opportunity to update the model with the signal obtained from evolutionary exploration. In this work, we propose to augment LLM-based evolutionary search by continuously refining the search operator – the LLM – through reinforcement learning (RL) fine-tuning. Our method leverages evolutionary search as an exploration strategy to discover improved algorithms, while RL optimizes the LLM policy based on these discoveries. Our experiments on three combinatorial optimization tasks – bin packing, traveling salesman, and the flatpack problem – show that combining RL and evolutionary search improves discovery efficiency of improved algorithms, showcasing the potential of RL-enhanced evolutionary strategies to assist computer scientists and mathematicians for more efficient algorithm design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google