Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves

要約

誤解は対人コミュニケーションだけでなく、人間と大規模言語モデル (LLM) の間でも発生します。
このような矛盾により、LLM は一見明確な質問を予期しない方法で解釈し、誤った応答を生み出す可能性があります。
質問などのプロンプトの質が LLM による応答の質に大きな影響を与えることは広く知られていますが、LLM がよりよく理解できる質問を作成する体系的な方法はまだ開発されていません。
この論文では、LLM が人間からの質問を言い換えて拡張し、単一のプロンプトで応答を提供できるようにする「言い換えと応答」(RaR) と呼ばれる方法を紹介します。
このアプローチは、パフォーマンスを向上させるためのシンプルかつ効果的なプロンプト方法として機能します。
また、RaR の 2 段階のバリアントも導入します。この場合、言い換え LLM が最初に質問を言い換え、次に元の質問と言い換えられた質問を一緒に別の応答 LLM に渡します。
これにより、ある LLM によって生成された言い換えられた質問を別の LLM で効果的に利用することが容易になります。
私たちの実験は、私たちの方法がタスクの幅広い範囲にわたってさまざまなモデルのパフォーマンスを大幅に向上させることを示しています。
さらに、理論的および経験的な両方で、RaR と一般的な思考連鎖 (CoT) 手法との包括的な比較を提供します。
RaR が CoT を補完し、CoT と組み合わせてさらに優れたパフォーマンスを達成できることを示します。
私たちの取り組みは、LLM のパフォーマンスを効率的かつ効果的に高めることに貢献するだけでなく、LLM の機能の公正な評価にも光を当てます。
データとコードは https://github.com/uclaml/Rephrase-and-Respond で入手できます。

要約(オリジナル)

Misunderstandings arise not only in interpersonal communication but also between humans and Large Language Models (LLMs). Such discrepancies can make LLMs interpret seemingly unambiguous questions in unexpected ways, yielding incorrect responses. While it is widely acknowledged that the quality of a prompt, such as a question, significantly impacts the quality of the response provided by LLMs, a systematic method for crafting questions that LLMs can better comprehend is still underdeveloped. In this paper, we present a method named `Rephrase and Respond’ (RaR), which allows LLMs to rephrase and expand questions posed by humans and provide responses in a single prompt. This approach serves as a simple yet effective prompting method for improving performance. We also introduce a two-step variant of RaR, where a rephrasing LLM first rephrases the question and then passes the original and rephrased questions together to a different responding LLM. This facilitates the effective utilization of rephrased questions generated by one LLM with another. Our experiments demonstrate that our methods significantly improve the performance of different models across a wide range to tasks. We further provide a comprehensive comparison between RaR and the popular Chain-of-Thought (CoT) methods, both theoretically and empirically. We show that RaR is complementary to CoT and can be combined with CoT to achieve even better performance. Our work not only contributes to enhancing LLM performance efficiently and effectively but also sheds light on a fair evaluation of LLM capabilities. Data and codes are available at https://github.com/uclaml/Rephrase-and-Respond.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google