Evolutionary Computation in the Era of Large Language Model: Survey and Roadmap

要約

大規模言語モデル (LLM) は、多様なデータに対する大規模な事前トレーニングを備えた Transformer ベースのアーキテクチャに基づいて構築されており、自然言語処理に革命をもたらしただけでなく、その能力をさまざまな領域に拡張し、汎用人工知能に向けて大きな進歩を遂げています。
LLM と進化的アルゴリズム (EA) の相互作用は、目的や方法論が異なるにもかかわらず、特に共通の最適化の性質、ブラックボックスの特性、複雑な問題の処理能力において興味深い類似点を明らかにしています。
一方、EA は、ブラックボックス設定の下で LLM をさらに強化するための最適化フレームワークを提供するだけでなく、アプリケーションで柔軟なグローバル検索と反復メカニズムを LLM に提供することもできます。
一方、LLM の豊富なドメイン知識により、EA はよりスマートな検索を実行できるようになり、テキスト処理機能はさまざまなタスクにわたって EA を展開するのに役立ちます。
このペーパーでは、それらの補完的な利点に基づいて、相互のインスピレーションを LLM 強化進化的最適化と EA 強化 LLM に分類して、包括的なレビューと将来を見据えたロードマップを示します。
さらに、ニューラル アーキテクチャの検索、コード生成、ソフトウェア エンジニアリング、テキスト生成などのさまざまなアプリケーション シナリオにおける LLM と EA の融合を例示するために、いくつかの統合シナジー手法が導入されています。
LLM 時代の EA 研究に特に焦点を当てた最初の包括的なレビューとして、この文書は、LLM と EA の協力の可能性を理解し、活用するための基礎的な足がかりを提供します。
包括的なレビュー、分類、批判的分析を提示することにより、私たちはこれら 2 つの強力なパラダイムの学際的な研究に関する進行中の議論に貢献します。
特定された課題と将来の方向性は、この革新的なコラボレーションの可能性を最大限に引き出すための指針を提供します。

要約(オリジナル)

Large Language Models (LLMs), built upon Transformer-based architectures with massive pretraining on diverse data, have not only revolutionized natural language processing but also extended their prowess to various domains, marking a significant stride towards artificial general intelligence. The interplay between LLMs and Evolutionary Algorithms (EAs), despite differing in objectives and methodologies, reveals intriguing parallels, especially in their shared optimization nature, black-box characteristics, and proficiency in handling complex problems. Meanwhile, EA can not only provide an optimization framework for LLM’s further enhancement under black-box settings but also empower LLM with flexible global search and iterative mechanism in applications. On the other hand, LLM’s abundant domain knowledge enables EA to perform smarter searches, while its text processing capability assist in deploying EA across various tasks. Based on their complementary advantages, this paper presents a comprehensive review and forward-looking roadmap, categorizing their mutual inspiration into LLM-enhanced evolutionary optimization and EA-enhanced LLM. Some integrated synergy methods are further introduced to exemplify the amalgamation of LLMs and EAs in various application scenarios, including neural architecture search, code generation, software engineering, and text generation. As the first comprehensive review specifically focused on the EA research in the era of LLMs, this paper provides a foundational stepping stone for understanding and harnessing the collaborative potential of LLMs and EAs. By presenting a comprehensive review, categorization, and critical analysis, we contribute to the ongoing discourse on the cross-disciplinary study of these two powerful paradigms. The identified challenges and future directions offer guidance to unlock the full potential of this innovative collaboration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google