EvoPrompt: Connecting LLMs with Evolutionary Algorithms Yields Powerful Prompt Optimizers

要約

大規模な言語モデル（LLM）はさまざまなタスクに優れていますが、多くの場合、かなりの人間の努力を要求する慎重に作成されたプロンプトに依存しています。
このプロセスを自動化するために、このホワイトペーパーでは、Evopromptと呼ばれる離散プロンプト最適化の新しいフレームワークを提案します。これは、優れたパフォーマンスと速い収束を示すため、進化的アルゴリズム（EAS）のアイデアを借ります。
EASが、一貫性があり、人間が読みやすくする必要がある自然言語表現である離散プロンプトで作業できるようにするために、LLMをEASに接続します。
このアプローチにより、LLMSの強力な言語処理機能とEASの効率的な最適化パフォーマンスを同時に活用できます。
具体的には、勾配やパラメーターを控えると、Evopromptはプロンプトの集団から始まり、進化オペレーターに基づいてLLMSで新しいプロンプトを繰り返し生成し、開発セットに基づいて母集団を改善します。
GPT-3.5とALPACAを含むクローズドおよびオープンソースの両方のLLMのプロンプトを最適化し、言語の理解、生成タスク、およびBig-Bench Hard（BBH）タスクをカバーする31のデータセットで説明します。
Evopromptは、自動プロンプトの生成のための人間で設計されたプロンプトと既存の方法を大幅に上回ります（たとえば、BBHで最大25％）。
さらに、Evopromptは、LLMとEASを接続すると相乗効果が生じることを示しています。これにより、LLMSと従来のアルゴリズムの組み合わせに関するさらなる研究が促進される可能性があります。

要約(オリジナル)

Large Language Models (LLMs) excel in various tasks, but they rely on carefully crafted prompts that often demand substantial human effort. To automate this process, in this paper, we propose a novel framework for discrete prompt optimization, called EvoPrompt, which borrows the idea of evolutionary algorithms (EAs) as they exhibit good performance and fast convergence. To enable EAs to work on discrete prompts, which are natural language expressions that need to be coherent and human-readable, we connect LLMs with EAs. This approach allows us to simultaneously leverage the powerful language processing capabilities of LLMs and the efficient optimization performance of EAs. Specifically, abstaining from any gradients or parameters, EvoPrompt starts from a population of prompts and iteratively generates new prompts with LLMs based on the evolutionary operators, improving the population based on the development set. We optimize prompts for both closed- and open-source LLMs including GPT-3.5 and Alpaca, on 31 datasets covering language understanding, generation tasks, as well as BIG-Bench Hard (BBH) tasks. EvoPrompt significantly outperforms human-engineered prompts and existing methods for automatic prompt generation (e.g., up to 25% on BBH). Furthermore, EvoPrompt demonstrates that connecting LLMs with EAs creates synergies, which could inspire further research on the combination of LLMs and conventional algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google