GrIPS: Gradient-free, Edit-based Instruction Search for Prompting Large Language Models

要約

【タイトル】GrIPS：大規模言語モデルのタスクパフォーマンスを向上させるための勾配フリー、編集ベースの指示検索

【要約】
・自然言語指示を提供することは、大規模言語モデルのタスクパフォーマンスを向上させる有用な手法の一つ。
・手動での再構築には時間と主観的な判断が必要であるが、勾配チューニングは大規模モデルに対して極めて計算量が多いため、APIモデルには適していない場合がある。
・本研究では、従来の手法とは異なり、大規模言語モデルのタスク指示を改善するための勾配フリー、編集ベースの指示検索アプローチである「GrIPS」を提唱。
・GrIPSは、人間向けの指示を入力すると改良された編集プロンプトを自動的に返し、APIベースのチューニングを許可する。
・InstructGPTモデルを用いた場合、GrIPSはNatural Instructionデータセットの8つの分類タスクで平均タスクパフォーマンスを最大4.30ポイント向上させる。
・単に指示だけでなく、指示+k-ショット例文を指示した場合でも同様の効果があった。
・しかも、計算能力やデータ予算を考慮しても、GrIPSは手動での再構築や純粋な例文に基づく指示よりも優れていた。
・また、GrIPSのパフォーマンスは選択された勾配ベースのチューニング手法に匹敵する。
・定性的には、編集が指示を簡素化したり、ときには不完全にしたりすることができるが、精度を向上させることができる。
・本研究のコードはhttps://github.com/archiki/GrIPSで公開されている。

要約(オリジナル)

Providing natural language instructions in prompts is a useful new paradigm for improving task performance of large language models in a zero-shot setting. Recent work has aimed to improve such prompts via manual rewriting or gradient-based tuning. However, manual rewriting is time-consuming and requires subjective interpretation, while gradient-based tuning can be extremely computationally demanding for large models and may not be feasible for API-based models. In this work, we introduce Gradient-free Instructional Prompt Search (GrIPS), a gradient-free, edit-based search approach for improving task instructions for large language models. GrIPS takes in instructions designed for humans and automatically returns an improved, edited prompt, while allowing for API-based tuning. With InstructGPT models, GrIPS improves the average task performance by up to 4.30 percentage points on eight classification tasks from the Natural Instructions dataset (with similar improvements for OPT, BLOOM, and FLAN-T5). We see improvements for both instruction-only prompts and instruction + k-shot examples prompts. Notably, GrIPS outperforms manual rewriting and purely example-based prompts while controlling for the available compute and data budget. Further, performance of GrIPS is comparable to select gradient-based tuning approaches. Qualitatively, we show our edits can simplify instructions and at times make them incoherent but nonetheless improve accuracy. Our code is available at: https://github.com/archiki/GrIPS

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI