PACE: Improving Prompt with Actor-Critic Editing for Large Language Model

要約

大規模言語モデル (LLM) は、プロンプトに基づいて条件付けすることにより、さまざまなタスクにわたって顕著な可能性を示しています。
ただし、人間が作成したさまざまなプロンプトの品質によって、LLM のパフォーマンスに大きな差異が生じるため、プロンプトを改善するには通常、多大な人間の努力と専門知識が必要になります。
この目的を達成するために、この文書では、自動プロンプト編集を可能にする LLM 向けの Actor-Critic Editing (PACE) によるプロンプトを提案します。
PACE は、強化学習におけるアクター – クリティカル アルゴリズムからインスピレーションを得て、LLM をアクターと批評家の二重の役割として活用し、プロンプトを一種のポリシーとして概念化します。
PACE は、プロンプトを実行する俳優と反応を批判する批評家の両方からのフィードバックを考慮して、プロンプトを改良します。
このプロセスは、LLM からの実際の応答と思考のおかげで、LLM がプロンプトを特定のタスクに適切に調整するのに役立ちます。
私たちは 24 の命令誘導タスクと 21 のビッグベンチタスクについて広範な実験を行っています。
実験結果によると、PACE は人間が書いた中品質/低品質のプロンプトの相対パフォーマンスを最大 98\% 向上させ、人間が書いた高品質のプロンプトと同等のパフォーマンスを示します。
さらに、PACE は迅速な生成にも顕著な効果を示します。

要約(オリジナル)

Large language models (LLMs) have showcased remarkable potential across various tasks by conditioning on prompts. However, the quality of different human-written prompts leads to substantial discrepancies in LLMs’ performance, and improving prompts usually necessitates considerable human effort and expertise. To this end, this paper proposes Prompt with Actor-Critic Editing (PACE) for LLMs to enable automatic prompt editing. Drawing inspiration from the actor-critic algorithm in reinforcement learning, PACE leverages LLMs as the dual roles of actors and critics, conceptualizing prompt as a type of policy. PACE refines prompt, taking into account the feedback from both actors performing prompt and critics criticizing response. This process helps LLMs better align prompt to a specific task, thanks to real responses and thinking from LLMs. We conduct extensive experiments on 24 instruction induction tasks and 21 big-bench tasks. Experimental results indicate that PACE elevates the relative performance of medium/low-quality human-written prompts by up to 98\%, which has comparable performance to high-quality human-written prompts. Moreover, PACE also exhibits notable efficacy for prompt generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google