PromptWizard: Task-Aware Agent-driven Prompt Optimization Framework

要約

大規模言語モデル (LLM) は、さまざまなドメインにわたって AI に革命をもたらし、驚くべき機能を示しました。
彼らの成功の中心となるのは、モデルの出力生成をガイドするプロンプトの概念です。
ただし、手動によるプロンプト エンジニアリングは労働集約的であり、ドメイン固有であるため、自動化されたソリューションが必要です。
このペーパーでは、LLM を利用して、特定のタスクに合わせたプロンプトを繰り返し合成および改良する新しいフレームワークである PromptWizard を紹介します。
既存のアプローチとは異なり、PromptWizard はプロンプト指示とコンテキスト内のサンプルの両方を最適化し、モデルのパフォーマンスを最大化します。
このフレームワークは、理解を深め多様性を確保するために、指示を変更し、否定的な例を組み込むことによってプロンプトを繰り返し改良します。
批評家の助けを借りて指示と例の両方をさらに強化し、最適なパフォーマンスを実現するための詳細な推論ステップが充実した新しい指示と例を合成します。
PromptWizard は、最先端のアプローチと比較した計算効率、さまざまな量のトレーニング データを含むシナリオへの適応性、小規模な LLM での効率性など、いくつかの重要な機能を提供します。
8 つのデータセットに対する 35 のタスクにわたる厳密な評価により、既存のプロンプト戦略に対する PromptWizard の優位性が実証され、プロンプトの最適化におけるその有効性と拡張性が実証されました。

要約(オリジナル)

Large language models (LLMs) have revolutionized AI across diverse domains, showcasing remarkable capabilities. Central to their success is the concept of prompting, which guides model output generation. However, manual prompt engineering is labor-intensive and domain-specific, necessitating automated solutions. This paper introduces PromptWizard, a novel framework leveraging LLMs to iteratively synthesize and refine prompts tailored to specific tasks. Unlike existing approaches, PromptWizard optimizes both prompt instructions and in-context examples, maximizing model performance. The framework iteratively refines prompts by mutating instructions and incorporating negative examples to deepen understanding and ensure diversity. It further enhances both instructions and examples with the aid of a critic, synthesizing new instructions and examples enriched with detailed reasoning steps for optimal performance. PromptWizard offers several key features and capabilities, including computational efficiency compared to state-of-the-art approaches, adaptability to scenarios with varying amounts of training data, and effectiveness with smaller LLMs. Rigorous evaluation across 35 tasks on 8 datasets demonstrates PromptWizard’s superiority over existing prompt strategies, showcasing its efficacy and scalability in prompt optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google