A match made in consistency heaven: when large language models meet evolutionary algorithms

要約

事前トレーニングされた大規模言語モデル (LLM) には、創造的な自然テキストを生成するための強力な機能があります。
進化的アルゴリズム (EA) は、現実世界の複雑な問題に対する多様な解決策を発見できます。
この論文は、テキスト シーケンスの生成と進化の共通の集合性と方向性を動機として、LLM と EA の強力な一貫性を示しています。これには、トークンの埋め込みと遺伝子型表現型マッピング、位置エンコーディングと適応度形成など、1 対 1 の重要な特性が複数含まれています。
位置の埋め込みと選択、注意とクロスオーバー、フィードフォワード ニューラル ネットワークと突然変異、モデルのトレーニングとパラメーターの更新、マルチタスク学習と多目的の最適化。
この一貫性の観点に基づいて、進化的微調整や LLM 強化 EA などの既存のカップリング研究が分析されます。
これらの洞察を活用して、LLM と EA の結合における将来の研究の基本的なロードマップを概説し、その過程での主要な課題を強調します。
この一貫性は、LLM の背後にある進化メカニズムを明らかにするだけでなく、生物に近づくか、生物を超える進化した人工エージェントの開発を促進します。

要約(オリジナル)

Pre-trained large language models (LLMs) have powerful capabilities for generating creative natural text. Evolutionary algorithms (EAs) can discover diverse solutions to complex real-world problems. Motivated by the common collective and directionality of text sequence generation and evolution, this paper illustrates the strong consistency of LLMs and EAs, which includes multiple one-to-one key characteristics: token embedding and genotype-phenotype mapping, position encoding and fitness shaping, position embedding and selection, attention and crossover, feed-forward neural network and mutation, model training and parameter update, and multi-task learning and multi-objective optimization. Based on this consistency perspective, existing coupling studies are analyzed, including evolutionary fine-tuning and LLM-enhanced EAs. Leveraging these insights, we outline a fundamental roadmap for future research in coupling LLMs and EAs, while highlighting key challenges along the way. The consistency not only reveals the evolution mechanism behind LLMs but also facilitates the development of evolved artificial agents that approach or surpass biological organisms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google