PromptAgent: Strategic Planning with Language Models Enables Expert-level Prompt Optimization

要約

非常に効果的なタスク固有のプロンプトは、大規模言語モデル (LLM) の本能とターゲット タスクの複雑さの両方に対する深い理解に基づいて、詳細な指示とドメインの洞察を統合するために専門家によって大幅に設計されていることがよくあります。
ただし、このような専門家レベルのプロンプトの生成を自動化することは依然として困難です。
既存のプロンプト最適化手法は、ドメイン知識の深さを見落とす傾向があり、専門家レベルのプロンプトの広大な空間を効率的に探索するのに苦労します。
これに対処するために、専門家が手作りしたものと同等の品質のプロンプトを自律的に作成する最適化手法である PromptAgent を紹介します。
PromptAgent はその中核として、プロンプトの最適化を戦略的計画の問題として捉え、モンテカルロ ツリー検索に根ざした原則に基づいた計画アルゴリズムを採用して、専門家レベルのプロンプト領域を戦略的にナビゲートします。
PromptAgent は、人間のような試行錯誤の探索からインスピレーションを得て、モデルのエラーを反映し、建設的なエラーのフィードバックを生成することで、専門家レベルの正確な洞察と詳細な指示を導き出します。
このような新しいフレームワークにより、エージェントは中間プロンプト (状態) を繰り返し検査し、エラー フィードバック (アクション) に基づいてそれらを改良し、将来の報酬をシミュレートし、エキスパート プロンプトにつながる高報酬パスを検索することができます。
PromptAgent を、BIG-Bench Hard (BBH) タスクとドメイン固有の一般的な NLP タスクという 3 つの実用的なドメインにまたがる 12 のタスクに適用し、強力な思考連鎖や最近のプロンプト最適化ベースラインを大幅に上回るパフォーマンスを示しました。
広範な分析により、専門家レベルの詳細でドメインの洞察に満ちたプロンプトを、優れた効率性と汎用性を備えて作成できることが強調されます。

要約(オリジナル)

Highly effective, task-specific prompts are often heavily engineered by experts to integrate detailed instructions and domain insights based on a deep understanding of both instincts of large language models (LLMs) and the intricacies of the target task. However, automating the generation of such expert-level prompts remains elusive. Existing prompt optimization methods tend to overlook the depth of domain knowledge and struggle to efficiently explore the vast space of expert-level prompts. Addressing this, we present PromptAgent, an optimization method that autonomously crafts prompts equivalent in quality to those handcrafted by experts. At its core, PromptAgent views prompt optimization as a strategic planning problem and employs a principled planning algorithm, rooted in Monte Carlo tree search, to strategically navigate the expert-level prompt space. Inspired by human-like trial-and-error exploration, PromptAgent induces precise expert-level insights and in-depth instructions by reflecting on model errors and generating constructive error feedback. Such a novel framework allows the agent to iteratively examine intermediate prompts (states), refine them based on error feedbacks (actions), simulate future rewards, and search for high-reward paths leading to expert prompts. We apply PromptAgent to 12 tasks spanning three practical domains: BIG-Bench Hard (BBH), as well as domain-specific and general NLP tasks, showing it significantly outperforms strong Chain-of-Thought and recent prompt optimization baselines. Extensive analyses emphasize its capability to craft expert-level, detailed, and domain-insightful prompts with great efficiency and generalizability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google