Zero-shot Approach to Overcome Perturbation Sensitivity of Prompts

要約

最近の研究では、自然言語プロンプトが、2文レベルのセンチメント分類タスクのために事前に学習された言語モデルによって学習された知識を活用するのに役立つことが実証されている。具体的には、これらの方法は、手動または自動生成されたプロンプトを使用して、センチメント分類モデルを微調整するために数ショットの学習設定を利用する。しかし、これらの方法の性能は、利用されるプロンプトの摂動に敏感である。さらに、これらの手法は、プロンプトの自動生成とプロンプトのランキングのために、少数のラベル付きインスタンスに依存している。本研究では、与えられたタスクに対する高品質なプロンプトをゼロショット設定で見つけることを目的とする。基本プロンプトが与えられた場合、我々の提案するアプローチは、位置決め、推論、言い換えの技術を用い、基本プロンプトに類似した複数のプロンプトを自動的に生成し、新しいメトリックを用いてプロンプトをランク付けする。そして、上位にランク付けされたプロンプトは高品質であり、2文レベルの感情分類タスクにおいて、ベースプロンプトや少数ショット学習を用いて生成されたプロンプトを有意に上回ることを実証的に示す。

要約(オリジナル)

Recent studies have demonstrated that natural-language prompts can help to leverage the knowledge learned by pre-trained language models for the binary sentence-level sentiment classification task. Specifically, these methods utilize few-shot learning settings to fine-tune the sentiment classification model using manual or automatically generated prompts. However, the performance of these methods is sensitive to the perturbations of the utilized prompts. Furthermore, these methods depend on a few labeled instances for automatic prompt generation and prompt ranking. This study aims to find high-quality prompts for the given task in a zero-shot setting. Given a base prompt, our proposed approach automatically generates multiple prompts similar to the base prompt employing positional, reasoning, and paraphrasing techniques and then ranks the prompts using a novel metric. We empirically demonstrate that the top-ranked prompts are high-quality and significantly outperform the base prompt and the prompts generated using few-shot learning for the binary sentence-level sentiment classification task.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL