Evaluating the Zero-shot Robustness of Instruction-tuned Language Models

要約

命令の微調整は、新しいタスクに対する大規模言語モデル (LLM) のゼロショット機能を向上させるための有望なアプローチとして最近浮上しています。
この手法は、適度なサイズの LLM のパフォーマンスを向上させるのに特に威力を発揮し、場合によってははるかに大きなモデル バリアントと競合するパフォーマンスをもたらします。
この論文では、次の 2 つの質問をします: (1) 命令調整モデルは命令の特定の表現に対してどの程度敏感ですか、(2) どうすればそのような自然言語の変動に対してモデルをより堅牢にできるでしょうか?
前者に答えるために、広く使用されているベンチマークに含まれる 80 を超える固有のタスクに対して NLP 実践者によって手動で書かれた 319 の命​​令セットを収集し、命令の微調整中に観察された命令の表現と比較して、これらの命令の分散と平均パフォーマンスを評価します。
。
新しい (観察されていない) けれども適切な命令語句を使用すると、モデルのパフォーマンスが一貫して低下し、場合によっては大幅に低下することがわかりました。
さらに、そのような自然な命令は、意味的には同等であるにもかかわらず、下流のパフォーマンスに大きなばらつきをもたらします。
別の言い方をすると、命令調整モデルは命令の言い換えに対して特に堅牢ではありません。
我々は、「ソフト プロンプト」埋め込みパラメータを導入し、これらを最適化して意味的に同等の命令の表現間の類似性を最大化することで、この問題を軽減する簡単な方法を提案します。
この方法により、命令調整モデルの堅牢性が一貫して向上することを示します。

要約(オリジナル)

Instruction fine-tuning has recently emerged as a promising approach for improving the zero-shot capabilities of Large Language Models (LLMs) on new tasks. This technique has shown particular strength in improving the performance of modestly sized LLMs, sometimes inducing performance competitive with much larger model variants. In this paper we ask two questions: (1) How sensitive are instruction-tuned models to the particular phrasings of instructions, and, (2) How can we make them more robust to such natural language variation? To answer the former, we collect a set of 319 instructions manually written by NLP practitioners for over 80 unique tasks included in widely used benchmarks, and we evaluate the variance and average performance of these instructions as compared to instruction phrasings observed during instruction fine-tuning. We find that using novel (unobserved) but appropriate instruction phrasings consistently degrades model performance, sometimes substantially so. Further, such natural instructions yield a wide variance in downstream performance, despite their semantic equivalence. Put another way, instruction-tuned models are not especially robust to instruction re-phrasings. We propose a simple method to mitigate this issue by introducing “soft prompt” embedding parameters and optimizing these to maximize the similarity between representations of semantically equivalent instructions. We show that this method consistently improves the robustness of instruction-tuned models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google