Metaheuristics and Large Language Models Join Forces: Towards an Integrated Optimization Approach

要約

数年前に大規模言語モデル (LLM) が台頭して以来、メタヒューリスティック (MH) の研究者は、アルゴリズム内でその能力を有益な方法で使用する方法を考えてきました。
このペーパーでは、MH を改善するためのパターン認識ツールとして LLM を活用する新しいアプローチを紹介します。
結果として得られるハイブリッド手法は、ソーシャル ネットワーク ベースの組み合わせ最適化問題のコンテキストでテストされ、得られるソリューションの品質に関して、機械学習と MH を組み合わせた既存の最先端のアプローチよりも優れています。
プロンプトを慎重に設計することで、LLM から得られる出力を問題知識として使用でき、結果の向上につながることを示します。
最後に、私たちは LLM の潜在的な欠点と限界を認識しており、この種の研究をさらに進めるためにはそれらを調査することが不可欠であると考えています。

要約(オリジナル)

Since the rise of Large Language Models (LLMs) a couple of years ago, researchers in metaheuristics (MHs) have wondered how to use their power in a beneficial way within their algorithms. This paper introduces a novel approach that leverages LLMs as pattern recognition tools to improve MHs. The resulting hybrid method, tested in the context of a social network-based combinatorial optimization problem, outperforms existing state-of-the-art approaches that combine machine learning with MHs regarding the obtained solution quality. By carefully designing prompts, we demonstrate that the output obtained from LLMs can be used as problem knowledge, leading to improved results. Lastly, we acknowledge LLMs’ potential drawbacks and limitations and consider it essential to examine them to advance this type of research further.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google