RedAHD: Reduction-Based End-to-End Automatic Heuristic Design with Large Language Models

要約

NPハードの組み合わせ最適化問題（COP）（たとえば、巡回セールスマンの問題（TSP）および容認された車両ルーティングの問題（CVRP））を実際に解決するには、伝統的に手作業のヒューリスティックを作成するか、効果的なヒューリスティックを見つけるための検索スペースの指定が含まれます。
ただし、これらのアプローチからの主な課題は、人間の専門家に必要なドメインの知識と実装の取り組みの膨大な量です。
最近、特に大規模な言語モデル（LLM）を使用して、いくつかの事前に決められた一般的なアルゴリズムフレームワーク（GAF、ANTコロニーの最適化とガイド付きローカル検索）内でヒューリスティックを設計することにより、これらの課題に対処するための大きな進歩が遂行されました。
このアイデアを活用する既存の方法は、印象的な最適化パフォーマンスをもたらすことが示されていますが、エンドツーエンドではなく、かなりの手動介入が必要です。
この論文では、これらのLLMベースのヒューリスティック設計方法がGAFを必要とせずに動作できるようにするRedahdという名前の新しいエンドツーエンドフレームワークを提案します。
より具体的には、RedahdはLLMSを採用して還元プロセスを自動化します。つまり、LLMベースのヒューリスティックな設計方法から、LLMベースのヒューリスティックデザイン方法を、変換されたCOPを直接解決するための効果的なヒューリスティックを設計し、順番に元のCOPを間接的に解決するための効果的なヒューリスティックを設計することができます。
6人の警官で評価された実験結果は、Redahdが最小限の人間の関与を伴う最先端の方法で競争力のあるまたは改善された結果を伴うヒューリスティックを設計できることを示しています。

要約(オリジナル)

Solving NP-hard combinatorial optimization problems (COPs) (e.g., traveling salesman problems (TSPs) and capacitated vehicle routing problems (CVRPs)) in practice traditionally involves handcrafting heuristics or specifying a search space for finding effective heuristics. The main challenges from these approaches, however, are the sheer amount of domain knowledge and implementation efforts required from human experts. Recently, significant progress has been made to address these challenges, particularly by using large language models (LLMs) to design heuristics within some predetermined generalized algorithmic framework (GAF, e.g., ant colony optimization and guided local search) for building key functions/components (e.g., a priori information on how promising it is to include each edge in a solution for TSP and CVRP). Although existing methods leveraging this idea have shown to yield impressive optimization performance, they are not fully end-to-end and still require considerable manual interventions. In this paper, we propose a novel end-to-end framework, named RedAHD, that enables these LLM-based heuristic design methods to operate without the need of GAFs. More specifically, RedAHD employs LLMs to automate the process of reduction, i.e., transforming the COP at hand into similar COPs that are better-understood, from which LLM-based heuristic design methods can design effective heuristics for directly solving the transformed COPs and, in turn, indirectly solving the original COP. Our experimental results, evaluated on six COPs, show that RedAHD is capable of designing heuristics with competitive or improved results over the state-of-the-art methods with minimal human involvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google