Intent-based Prompt Calibration: Enhancing prompt optimization with synthetic boundary cases

要約

プロンプトエンジニアリングは、与えられたプロンプトに対するラージランゲージモデル（LLM）の高い感度と、タスク指示のテキスト固有の曖昧さのために、挑戦的で重要なタスクである。LLMの性能を最適化するためには、自動プロンプトエンジニアリングが不可欠である。最近の研究では、LLMが自動的にプロンプトエンジニアリングを行う能力が実証されている。メタプロンプトは、直近の試行の結果を取り入れ、改善されたプロンプトを提案する。しかし、これには異なるプロンプトを比較するための高品質なベンチマークが必要であり、多くの実世界のユースケースでは入手が困難で高価である。本研究では、自動プロンプトエンジニアリングのための新しい手法を導入し、プロンプトをユーザーの意図に合わせて繰り返し改良するキャリブレーションプロセスを用いる。最適化プロセスにおいて、システムは境界ユースケースの合成データを共同で生成し、生成されたデータセットに従ってプロンプトを最適化する。我々は、モデレーションや生成といった実世界のタスクにおいて、強力な独自モデルに対する本手法の有効性を実証する。我々の手法は、限られた数のアノテーションサンプルで、最先端の手法を凌駕する。さらに、システムの主要な構成要素のそれぞれの利点を検証する。我々のシステムはモジュール方式で構築されており、他のタスクへの適応が容易である。コードは$href{https://github.com/Eladlev/AutoPrompt}{ここ}$にある。

要約(オリジナル)

Prompt engineering is a challenging and important task due to the high sensitivity of Large Language Models (LLMs) to the given prompt and the inherent ambiguity of a textual task instruction. Automatic prompt engineering is essential to achieve optimized performance from LLMs. Recent studies have demonstrated the capabilities of LLMs to automatically conduct prompt engineering by employing a meta-prompt that incorporates the outcomes of the last trials and proposes an improved prompt. However, this requires a high-quality benchmark to compare different prompts, which is difficult and expensive to acquire in many real-world use cases. In this work, we introduce a new method for automatic prompt engineering, using a calibration process that iteratively refines the prompt to the user intent. During the optimization process, the system jointly generates synthetic data of boundary use cases and optimizes the prompt according to the generated dataset. We demonstrate the effectiveness of our method with respect to strong proprietary models on real-world tasks such as moderation and generation. Our method outperforms state-of-the-art methods with a limited number of annotated samples. Furthermore, we validate the advantages of each one of the system’s key components. Our system is built in a modular way, facilitating easy adaptation to other tasks. The code is available $\href{https://github.com/Eladlev/AutoPrompt}{here}$.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL