Conversational Prompt Engineering

要約

プロンプトは、人間が LLM と通信する方法です。
有益なプロンプトは、LLM が目的の出力を生成するようにガイドするために不可欠です。
しかし、プロンプトエンジニアリングは退屈で時間がかかることが多く、高度な専門知識が必要なため、その広範な使用は制限されています。
私たちは、ユーザーが特定のタスク用にパーソナライズされたプロンプトを作成するのに役立つ、使いやすいツールである会話プロンプト エンジニアリング (CPE) を提案します。
CPE はチャット モデルを使用してユーザーと簡単に対話し、ユーザーが出力設定を明確に表現できるようにし、それらをプロンプトに統合します。
このプロセスには 2 つの主要な段階が含まれます。まず、モデルはユーザーが提供したラベルのないデータを使用してデータ駆動型の質問を生成し、ユーザーの応答を利用して最初の指示を形成します。
次に、モデルは命令によって生成された出力を共有し、ユーザーのフィードバックを使用して命令と出力をさらに改良します。
最終結果は少数ショットのプロンプトであり、ユーザーによって承認された出力が少数ショットの例として機能します。
要約タスクに関するユーザー調査では、パーソナライズされた高パフォーマンスのプロンプトを作成する際の CPE の価値が実証されています。
結果は、得られたゼロショットプロンプトが、はるかに長い数ショットプロンプトと同等であることを示唆しており、大量のテキストを含む反復的なタスクを含むシナリオで大幅な節約を示しています。

要約(オリジナル)

Prompts are how humans communicate with LLMs. Informative prompts are essential for guiding LLMs to produce the desired output. However, prompt engineering is often tedious and time-consuming, requiring significant expertise, limiting its widespread use. We propose Conversational Prompt Engineering (CPE), a user-friendly tool that helps users create personalized prompts for their specific tasks. CPE uses a chat model to briefly interact with users, helping them articulate their output preferences and integrating these into the prompt. The process includes two main stages: first, the model uses user-provided unlabeled data to generate data-driven questions and utilize user responses to shape the initial instruction. Then, the model shares the outputs generated by the instruction and uses user feedback to further refine the instruction and the outputs. The final result is a few-shot prompt, where the outputs approved by the user serve as few-shot examples. A user study on summarization tasks demonstrates the value of CPE in creating personalized, high-performing prompts. The results suggest that the zero-shot prompt obtained is comparable to its – much longer – few-shot counterpart, indicating significant savings in scenarios involving repetitive tasks with large text volumes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google