Deliberate then Generate: Enhanced Prompting Framework for Text Generation

要約

大規模言語モデル (LLM) は、適切なプロンプト設計が大きな効果をもたらす、幅広い自然言語生成タスクにわたって目覚ましい成功を収めています。
既存のプロンプト手法は通常、正しい情報の提供に限定されていますが、この論文では、エラー検出命令とエラーを含む可能性のある候補で構成される新しい Deliberate then Generate (DTG) プロンプト フレームワークを提案することで、モデルの熟慮を促します。
DTG は、最小限の変更でさまざまなテキスト生成タスクに適用できる、シンプルかつ効果的な手法です。
私たちは、要約、翻訳、対話などを含む 7 つのテキスト生成タスクにわたって、20 以上のデータセットに対して広範な実験を実施しています。
DTG が既存のプロンプト手法を常に上回り、複数のテキスト生成タスクで最先端のパフォーマンスを達成することを示します。
また、DTG の根底にあるメカニズムを明らかにするための詳細な分析も提供します。これは、LLM のプロンプトに関する将来の研究に影響を与える可能性があります。

要約(オリジナル)

Large language models (LLMs) have shown remarkable success across a wide range of natural language generation tasks, where proper prompt designs make great impacts. While existing prompting methods are normally restricted to providing correct information, in this paper, we encourage the model to deliberate by proposing a novel Deliberate then Generate (DTG) prompting framework, which consists of error detection instructions and candidates that may contain errors. DTG is a simple yet effective technique that can be applied to various text generation tasks with minimal modifications. We conduct extensive experiments on 20+ datasets across 7 text generation tasks, including summarization, translation, dialogue, and more. We show that DTG consistently outperforms existing prompting methods and achieves state-of-the-art performance on multiple text generation tasks. We also provide in-depth analyses to reveal the underlying mechanisms of DTG, which may inspire future research on prompting for LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google