Evolutionary Computation in the Era of Large Language Model: Survey and Roadmap

要約

大規模言語モデル (LLM) は、自然言語処理に革命をもたらしただけでなく、その能力をさまざまな領域に拡張し、汎用人工知能に向けて大きな進歩を遂げました。
LLM と進化的アルゴリズム (EA) の間の相互作用は、目的や方法論が異なるにもかかわらず、複雑な問題への適用性を追求する点で共通しています。
一方、EA は、ブラックボックス設定の下で LLM をさらに強化するための最適化フレームワークを提供し、LLM に柔軟なグローバル検索機能を提供できます。
一方で、LLM に固有の豊富なドメイン知識により、EA はよりインテリジェントな検索を実行できる可能性があります。
さらに、LLM のテキスト処理および生成機能は、幅広いタスクにわたって EA を導入するのに役立ちます。
これらの補完的な利点に基づいて、このホワイトペーパーでは徹底的なレビューと将来を見据えたロードマップを提供し、相互のインスピレーションを LLM 強化型 EA と EA 強化型 LLM の 2 つの主要な手段に分類します。
さらに、ニューラル アーキテクチャの検索、コード生成、ソフトウェア エンジニアリング、さまざまな生成タスクなど、さまざまなシナリオにおける LLM と EA の融合を例示するために、いくつかの統合シナジー手法が導入されています。
LLM 時代の EA 研究に焦点を当てた最初の包括的なレビューとして、この論文は、LLM と EA の協力の可能性を理解するための基礎的な足がかりを提供します。
綿密な分類と批判的分析により、私たちはこれら 2 つの強力なパラダイムの学際的な研究に関する進行中の議論に貢献します。
特定された課題と将来の方向性は、最適化と人工知能の進歩を推進するこの革新的なコラボレーションの可能性を最大限に引き出すことを目指す研究者や実践者に指針を提供します。

要約(オリジナル)

Large Language Models (LLMs) have not only revolutionized natural language processing but also extended their prowess to various domains, marking a significant stride towards artificial general intelligence. The interplay between LLMs and Evolutionary Algorithms (EAs), despite differing in objectives and methodologies, share a common pursuit of applicability in complex problems. Meanwhile, EA can provide an optimization framework for LLM’s further enhancement under black-box settings, empowering LLM with flexible global search capacities. On the other hand, the abundant domain knowledge inherent in LLMs could enable EA to conduct more intelligent searches. Furthermore, the text processing and generative capabilities of LLMs would aid in deploying EAs across a wide range of tasks. Based on these complementary advantages, this paper provides a thorough review and a forward-looking roadmap, categorizing the reciprocal inspiration into two main avenues: LLM-enhanced EA and EA-enhanced LLM. Some integrated synergy methods are further introduced to exemplify the amalgamation of LLMs and EAs in diverse scenarios, including neural architecture search, code generation, software engineering, and various generation tasks. As the first comprehensive review focused on the EA research in the era of LLMs, this paper provides a foundational stepping stone for understanding the collaborative potential of LLMs and EAs. By meticulous categorization and critical analysis, we contribute to the ongoing discourse on the cross-disciplinary study of these two powerful paradigms. The identified challenges and future directions offer guidance for researchers and practitioners aiming to unlock the full potential of this innovative collaboration in propelling advancements in optimization and artificial intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google