Evolutionary Computation and Large Language Models: A Survey of Methods, Synergies, and Applications

要約

大規模な言語モデル（LLM）と進化的計算（EC）を統合することは、強力な自然言語の理解と最適化と検索機能を組み合わせることにより、人工知能を進めるための有望な手段を表しています。
この原稿は、LLMSとECの相乗的可能性を調査し、交差点、補完的な強さ、および新たなアプリケーションをレビューします。
ECがLLMトレーニング、微調整、迅速なエンジニアリング、およびアーキテクチャ検索を強化できる重要な機会を特定し、LLMはECの設計、分析、解釈の自動化に役立ちます。
原稿は、ECとLLMSの相乗的な統合を調査し、人工知能の進歩に対する彼らの双方向の貢献を強調しています。
まず、EC技術が、プロンプトエンジニアリング、ハイパーパラメーターチューニング、アーキテクチャ検索などの主要なコンポーネントを最適化することにより、LLMSを強化する方法を調べ、これらのプロセスを進化的方法を自動化および改良する方法を示します。
第二に、調査では、メタヒューリスティックな設計を自動化し、進化的アルゴリズムを調整し、適応ヒューリスティックを生成することにより、LLMSがどのようにECを改善するかを調査し、それにより効率とスケーラビリティが向上します。
新たな共進化的フレームワークについて説明し、計算コスト、解釈可能性、アルゴリズムの収束などの課題を認めながら、多様な分野でアプリケーションを紹介します。
この調査は、オープンな研究の質問を特定し、ECとLLMSの強みを組み合わせたハイブリッドアプローチを提唱することで締めくくります。

要約(オリジナル)

Integrating Large Language Models (LLMs) and Evolutionary Computation (EC) represents a promising avenue for advancing artificial intelligence by combining powerful natural language understanding with optimization and search capabilities. This manuscript explores the synergistic potential of LLMs and EC, reviewing their intersections, complementary strengths, and emerging applications. We identify key opportunities where EC can enhance LLM training, fine-tuning, prompt engineering, and architecture search, while LLMs can, in turn, aid in automating the design, analysis, and interpretation of ECs. The manuscript explores the synergistic integration of EC and LLMs, highlighting their bidirectional contributions to advancing artificial intelligence. It first examines how EC techniques enhance LLMs by optimizing key components such as prompt engineering, hyperparameter tuning, and architecture search, demonstrating how evolutionary methods automate and refine these processes. Secondly, the survey investigates how LLMs improve EC by automating metaheuristic design, tuning evolutionary algorithms, and generating adaptive heuristics, thereby increasing efficiency and scalability. Emerging co-evolutionary frameworks are discussed, showcasing applications across diverse fields while acknowledging challenges like computational costs, interpretability, and algorithmic convergence. The survey concludes by identifying open research questions and advocating for hybrid approaches that combine the strengths of EC and LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google