PRewrite: Prompt Rewriting with Reinforcement Learning

要約

LLM ベースのアプリケーションの開発には、迅速なエンジニアリングが重要です。
ただし、通常は「試行錯誤」形式で手動で行われるため、時間がかかり、非効率的で最適とは言えません。
一見うまく機能しているように見えるプロンプトであっても、常に疑問が残ります。「さらに修正を加えることでプロンプトをより良くできるか?」ということです。
これらの問題に対処するために、このペーパーでは自動化されたプロンプト エンジニアリングについて調査します。
具体的には、最適化が不十分なプロンプトをより効果的なプロンプトに書き換える自動化手法である PRewrite を提案します。
LLM を使用してプロンプト リライターをインスタンス化します。
リライター LLM は、特定の下流タスクのパフォーマンスを最適化するために強化学習を使用してトレーニングされます。
さまざまなベンチマーク データセットで実験を実施し、PRewrite の有効性を実証します。

要約(オリジナル)

Prompt engineering is critical for the development of LLM-based applications. However, it is usually done manually in a ‘trial and error’ fashion that can be time consuming, ineffective, and sub-optimal. Even for the prompts which seemingly work well, there is always a lingering question: can the prompts be made better with further modifications? To address these problems, we investigate automated prompt engineering in this paper. Specifically, we propose PRewrite, an automated method to rewrite an under-optimized prompt to a more effective prompt. We instantiate the prompt rewriter using a LLM. The rewriter LLM is trained using reinforcement learning to optimize the performance on a given downstream task. We conduct experiments on diverse benchmark datasets, which demonstrates the effectiveness of PRewrite.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google