Large Language Model for Multi-objective Evolutionary Optimization

要約

多目的進化アルゴリズム (MOEA) は、多目的最適化問題 (MOP) を解決するための主要な方法です。
過去数十年間に多くの MOEA が提案されてきましたが、検索オペレーターはドメインの知識を備えた慎重に手作りされた設計を必要としています。
最近、MOEA で手動で設計された演算子を学習ベースの演算子 (ニューラル ネットワーク モデルなど) に置き換える試みがいくつか行われています。
ただし、そのようなモデルの設計とトレーニングには依然として多大な労力が必要であり、学習された演算子が新しい問題に対してうまく一般化できない可能性があります。
上記の課題に取り組むために、この研究では、強力なラージ言語モデル (LLM) を活用して MOEA オペレーターを設計する新しいアプローチを調査します。
適切なプロンプト エンジニアリングにより、一般的な LLM をゼロショット方式で分解ベースの MOEA (MOEA/D) のブラック ボックス検索演算子として機能させることに成功しました。
さらに、LLM の動作から学習することで、ランダム性を備えた明示的なホワイトボックス演算子をさらに設計し、MOEA/D-LO と呼ばれる分解ベースの MOEA の新しいバージョンを提案します。
さまざまなテストベンチマークに関する実験研究により、私たちが提案した方法が広く使用されているMOEAと競合するパフォーマンスを達成できることが示されています。
また、少数のインスタンスからのみ学習した演算子が、全く異なるパターンや設定を伴う未知の問題に対して堅牢な汎化パフォーマンスを発揮できることも期待できます。
この結果は、MOEA の設計で事前トレーニング済み LLM を使用することの潜在的な利点を明らかにしています。再現性とアクセシビリティを促進するために、ソース コードは https://github.com/FeiLiu36/LLM4MOEA です。

要約(オリジナル)

Multiobjective evolutionary algorithms (MOEAs) are major methods for solving multiobjective optimization problems (MOPs). Many MOEAs have been proposed in the past decades, of which the search operators need a carefully handcrafted design with domain knowledge. Recently, some attempts have been made to replace the manually designed operators in MOEAs with learning-based operators (e.g., neural network models). However, much effort is still required for designing and training such models, and the learned operators might not generalize well on new problems. To tackle the above challenges, this work investigates a novel approach that leverages the powerful large language model (LLM) to design MOEA operators. With proper prompt engineering, we successfully let a general LLM serve as a black-box search operator for decomposition-based MOEA (MOEA/D) in a zero-shot manner. In addition, by learning from the LLM behavior, we further design an explicit white-box operator with randomness and propose a new version of decomposition-based MOEA, termed MOEA/D-LO. Experimental studies on different test benchmarks show that our proposed method can achieve competitive performance with widely used MOEAs. It is also promising to see the operator only learned from a few instances can have robust generalization performance on unseen problems with quite different patterns and settings. The results reveal the potential benefits of using pre-trained LLMs in the design of MOEAs.To foster reproducibility and accessibility, the source code is https://github.com/FeiLiu36/LLM4MOEA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google