What You Say = What You Want? Teaching Humans to Articulate Requirements for LLMs

要約

ChatGPT に複雑な目標 (カスタマー サポート チャットボットの作成など) を達成させるには、多くの場合、流暢な文章や思考連鎖テクニックなどの側面を含む、細心の注意を払った迅速なエンジニアリングが必要です。
新興のプロンプト オプティマイザーはこれらの側面の多くを自動的に調整できますが、カスタマイズされた要件 (多様な入力の処理方法など) を明確に伝えることは依然として人間中心の課題であると私たちは主張します。
この研究では、プロンプト中に明確で完全な要件を生成することに人間の注意を集中させるパラダイムである、要件指向プロンプト エンジニアリング (ROPE) を紹介します。
当社は、LLM によって生成されたフィードバックを使用した意図的な練習を提供する評価およびトレーニング スイートを通じて ROPE を実装します。
30 人の初心者を対象とした研究では、要件に焦点を当てたトレーニングが初心者のプロンプトパフォーマンスを 2 倍にし、従来のプロンプトエンジニアリングトレーニングやプロンプト最適化を大幅に上回っていることが示されました。
また、高品質の LLM 出力が入力要件の品質に直接結びついていることも実証します。
私たちの取り組みは、人間と LLM の共同プロンプトにおけるより効果的なタスク委任への道を切り開きます。

要約(オリジナル)

Prompting ChatGPT to achieve complex goals (e.g., creating a customer support chatbot) often demands meticulous prompt engineering, including aspects like fluent writing and chain-of-thought techniques. While emerging prompt optimizers can automatically refine many of these aspects, we argue that clearly conveying customized requirements (e.g., how to handle diverse inputs) remains a human-centric challenge. In this work, we introduce Requirement-Oriented Prompt Engineering (ROPE), a paradigm that focuses human attention on generating clear, complete requirements during prompting. We implement ROPE through an assessment and training suite that provides deliberate practice with LLM-generated feedback. In a study with 30 novices, we show that requirement-focused training doubles novices’ prompting performance, significantly outperforming conventional prompt engineering training and prompt optimization. We also demonstrate that high-quality LLM outputs are directly tied to the quality of input requirements. Our work paves the way for more effective task delegation in human-LLM collaborative prompting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google