Monte Carlo Tree Search for Comprehensive Exploration in LLM-Based Automatic Heuristic Design

要約

複雑な計画タスク (NP 困難な組み合わせ最適化 (CO) 問題など) を解決するためのヒューリスティックを手作りすることは一般的な手法ですが、広範なドメイン知識が必要です。
最近、大規模言語モデル (LLM) ベースの自動ヒューリスティック設計 (AHD) 手法が、手動介入なしで高品質のヒューリスティックを生成する可能性を示しています。
既存の LLM ベースの AHD 手法では、母集団を使用して LLM によって生成された最高パフォーマンスのヒューリスティックを一定数維持し、進化的計算 (EC) を導入して母集団を反復的に強化しています。
ただし、人口ベースの手順は貪欲な特性をもたらし、多くの場合、局所最適値への収束をもたらします。
代わりに、ヒューリスティックの空間をより包括的に探索するために、LLM で生成されたすべてのヒューリスティックをツリー構造に保存しながら、LLM ベースのヒューリスティック進化にモンテカルロ ツリー検索 (MCTS) を使用することを提案します。
新しい思考調整プロセスと探索減衰技術により、提案された MCTS-AHD 手法は、さまざまな複雑なタスクに対して大幅に高品質のヒューリスティックを提供します。
コードは https://github.com/zz1358m/MCTS-AHD-master で入手できます。

要約(オリジナル)

Handcrafting heuristics for solving complex planning tasks (e.g., NP-hard combinatorial optimization (CO) problems) is a common practice but requires extensive domain knowledge. Recently, Large Language Model (LLM)-based automatic heuristics design (AHD) methods have shown promise in generating high-quality heuristics without manual intervention. Existing LLM-based AHD methods employ a population to maintain a fixed number of top-performing LLM-generated heuristics and introduce evolutionary computation (EC) to enhance the population iteratively. However, the population-based procedure brings greedy properties, often resulting in convergence to local optima. Instead, to more comprehensively explore the space of heuristics, we propose using Monte Carlo Tree Search (MCTS) for LLM-based heuristic evolution while preserving all LLM-generated heuristics in a tree structure. With a novel thought-alignment process and an exploration-decay technique, the proposed MCTS-AHD method delivers significantly higher-quality heuristics on various complex tasks. Our code is available at https://github.com/zz1358m/MCTS-AHD-master.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google