Instance Needs More Care: Rewriting Prompts for Instances Yields Better Zero-Shot Performance

要約

大規模言語モデル (LLM) がゼロショットでタスクを実行できるようにすることは、省力化 (つまり、タスク固有のアノテーションを必要としない) のため、魅力的な目標となっています。
そのため、ゼロショット プロンプト アプローチでは、タスクの一般化性も向上します。
LLM のゼロショット パフォーマンスを向上させるために、これまでの研究では、より効果的なタスク指示 (例: 「段階的に考えてみましょう」) を考案することに重点が置かれてきました。
ただし、LLM がゼロショットで問題を正しく解決するには、個々のテスト インスタンスがより慎重に設計され、カスタマイズされた命令が必要であると私たちは主張します。
この目的を達成するために、タスク LLM により良いガイダンスを提供するために、個々のテスト入力のタスク プロンプトをより具体的、明確、完全なものに書き換えるアプローチである PRoMPTd を提案します。
GPT-4 をタスク LLM として使用し、算術、論理的推論、コード生成などのタスクをカバーする 8 つのデータセットで PRoMPTd を評価しました。
特に、PRoMPTd は、複雑な MATH データセットで約 10%、HumanEval でのコード生成タスクで 5% の絶対的な改善を達成し、従来のゼロショット手法を上回っています。
さらに、書き換えられたプロンプトにより、LLM が各テスト インスタンスをどのように解決するかについてのより良い解釈が可能になり、敵対的なプロンプトに対する防御メカニズムとして活用できる可能性があることも示しました。
ソースコードとデータセットは https://github.com/salokr/PRoMPTd から入手できます。

要約(オリジナル)

Enabling large language models (LLMs) to perform tasks in zero-shot has been an appealing goal owing to its labor-saving (i.e., requiring no task-specific annotations); as such, zero-shot prompting approaches also enjoy better task generalizability. To improve LLMs’ zero-shot performance, prior work has focused on devising more effective task instructions (e.g., “let’s think step by step” ). However, we argue that, in order for an LLM to solve them correctly in zero-shot, individual test instances need more carefully designed and customized instructions. To this end, we propose PRoMPTd, an approach that rewrites the task prompt for each individual test input to be more specific, unambiguous, and complete, so as to provide better guidance to the task LLM. We evaluated PRoMPTd on eight datasets covering tasks including arithmetics, logical reasoning, and code generation, using GPT-4 as the task LLM. Notably, PRoMPTd achieves an absolute improvement of around 10% on the complex MATH dataset and 5% on the code generation task on HumanEval, outperforming conventional zero-shot methods. In addition, we also showed that the rewritten prompt can provide better interpretability of how the LLM resolves each test instance, which can potentially be leveraged as a defense mechanism against adversarial prompting. The source code and dataset can be obtained from https://github.com/salokr/PRoMPTd

arxiv情報

提供元, 利用サービス

arxiv.jp, Google