What Should We Engineer in Prompts? Training Humans in Requirement-Driven LLM Use

要約

LLM に複雑なタスク (旅行アドバイザーのチャットボットの構築など) を促すには、人間がカスタマイズされた要件 (「tl;dr で応答を開始する」など) を明確に説明する必要があります。
しかし、既存の即時エンジニアリング指示には、要件の明確化に関する集中的なトレーニングが欠けていることが多く、その代わりに、ますます自動化可能な戦略 (たとえば、ロールプレイの追加や「段階的に考える」などのトリック) が強調される傾向があります。
このギャップに対処するために、要求指向プロンプト エンジニアリング (ROPE) を導入します。これは、プロンプト中に明確で完全な要件を生成することに人間の注意を集中させるパラダイムです。
当社は、LLM によって生成されたフィードバックを使用した意図的な練習を提供する評価およびトレーニング スイートを通じて ROPE を実装します。
30 人の初心者によるランダム化対照実験では、ROPE は従来のプロンプト エンジニアリング トレーニングを大幅に上回り (20% 対 1% の向上)、自動プロンプト最適化では埋めることのできないギャップでした。
さらに、入力要件の品質と LLM 出力の間の直接的な相関関係を示します。
私たちの取り組みは、より多くのエンドユーザーが複雑な LLM アプリケーションを構築できるようにする道を切り開きます。

要約(オリジナル)

Prompting LLMs for complex tasks (e.g., building a trip advisor chatbot) needs humans to clearly articulate customized requirements (e.g., ‘start the response with a tl;dr’). However, existing prompt engineering instructions often lack focused training on requirement articulation and instead tend to emphasize increasingly automatable strategies (e.g., tricks like adding role-plays and ‘think step-by-step’). To address the gap, we introduce Requirement-Oriented Prompt Engineering (ROPE), a paradigm that focuses human attention on generating clear, complete requirements during prompting. We implement ROPE through an assessment and training suite that provides deliberate practice with LLM-generated feedback. In a randomized controlled experiment with 30 novices, ROPE significantly outperforms conventional prompt engineering training (20% vs. 1% gains), a gap that automatic prompt optimization cannot close. Furthermore, we demonstrate a direct correlation between the quality of input requirements and LLM outputs. Our work paves the way to empower more end-users to build complex LLM applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google