Adversarial Robustness of Prompt-based Few-Shot Learning for Natural Language Understanding

要約

最先端の少数ショット学習 (FSL) メソッドは、プロンプトベースの微調整を活用して、自然言語理解 (NLU) タスクで優れた結果を取得します。
従来の FSL 手法の多くは下流のタスクのパフォーマンスを向上させることに重点を置いていますが、そのような手法の敵対的堅牢性についての理解は限られています。
この研究では、敵対的な摂動に対する堅牢性を評価するために、いくつかの最先端の FSL 手法について広範な研究を実施します。
堅牢性（または堅牢性の欠如）に対するさまざまな要因の影響をより深く理解するために、ラベルなしデータの使用、複数のプロンプト、少数ショットのサンプルの数などの側面について、完全に微調整されたモデルに対してプロンプトベースの FSL 手法を評価します。
、モデルのサイズとタイプ。
6 つの GLUE タスクに関する結果は、完全に微調整されたモデルと比較して、標準的な FSL 手法は、敵対的な摂動に直面した場合にタスクのパフォーマンスの顕著な相対的な低下につながる (つまり、ロバスト性が低い) ことを示しています。
ただし、(i) プロンプトベースの FSL にラベルのないデータを使用し、(ii) 複数のプロンプトを使用すると、傾向が反転します。
さらに、少数ショットの例の数とモデルのサイズを増やすと、バニラ FSL メソッドの敵対的堅牢性が向上することを示します。
大まかに言うと、私たちの研究は、NLU タスクに対するプロンプトベースの FSL 手法の敵対的堅牢性評価に光を当てています。

要約(オリジナル)

State-of-the-art few-shot learning (FSL) methods leverage prompt-based fine-tuning to obtain remarkable results for natural language understanding (NLU) tasks. While much of the prior FSL methods focus on improving downstream task performance, there is a limited understanding of the adversarial robustness of such methods. In this work, we conduct an extensive study of several state-of-the-art FSL methods to assess their robustness to adversarial perturbations. To better understand the impact of various factors towards robustness (or the lack of it), we evaluate prompt-based FSL methods against fully fine-tuned models for aspects such as the use of unlabeled data, multiple prompts, number of few-shot examples, model size and type. Our results on six GLUE tasks indicate that compared to fully fine-tuned models, vanilla FSL methods lead to a notable relative drop in task performance (i.e., are less robust) in the face of adversarial perturbations. However, using (i) unlabeled data for prompt-based FSL and (ii) multiple prompts flip the trend. We further demonstrate that increasing the number of few-shot examples and model size lead to increased adversarial robustness of vanilla FSL methods. Broadly, our work sheds light on the adversarial robustness evaluation of prompt-based FSL methods for NLU tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google