Using Natural Language Explanations to Improve Robustness of In-context Learning

要約

最近の研究では、大規模言語モデル (LLM) がコンテキスト内学習 (ICL) を介して多くのタスクで優れていることが実証されました。
ただし、最近の研究では、ICL によって指示されたモデルは、敵対的な入力が与えられた場合に不正確な結果を生成する傾向があることが示されています。
この研究では、自然言語説明 (NLE) を使用して ICL を強化することで、自然言語推論と言い換え識別をカバーする敵対的なデータセットに対する LLM の堅牢性が向上するかどうかを調査します。
人間が生成した少数の NLE セットを使用して LLM にさらに NLE を生成するよう促し、ゼロショット ICL 設定と人間が生成した NLE のみを使用する場合よりも正確な結果が得られます。
5 つの人気のある LLM (GPT3.5-turbo、Llama2、Vicuna、Zephyr、Mistral) に関する結果は、HANS、ISCS、NaN、ST、PICD、PISP の 8 つの敵対的データセットに対して、私たちのアプローチがベースライン アプローチと比較して 6% 以上の改善をもたらしていることを示しています。
、ANLI、PAWS。
さらに、これまでの研究では、迅速な選択戦略により、配布中のテスト セットの ICL が大幅に向上することが実証されています。
しかし、私たちの調査結果では、これらの戦略はロバスト性評価に対する私たちのアプローチの有効性と一致せず、提案されたアプローチと比較して精度が 8% 低下することが明らかになりました。

要約(オリジナル)

Recent studies demonstrated that large language models (LLMs) can excel in many tasks via in-context learning (ICL). However, recent works show that ICL-prompted models tend to produce inaccurate results when presented with adversarial inputs. In this work, we investigate whether augmenting ICL with natural language explanations (NLEs) improves the robustness of LLMs on adversarial datasets covering natural language inference and paraphrasing identification. We prompt LLMs with a small set of human-generated NLEs to produce further NLEs, yielding more accurate results than both a zero-shot-ICL setting and using only human-generated NLEs. Our results on five popular LLMs (GPT3.5-turbo, Llama2, Vicuna, Zephyr, and Mistral) show that our approach yields over 6% improvement over baseline approaches for eight adversarial datasets: HANS, ISCS, NaN, ST, PICD, PISP, ANLI, and PAWS. Furthermore, previous studies have demonstrated that prompt selection strategies significantly enhance ICL on in-distribution test sets. However, our findings reveal that these strategies do not match the efficacy of our approach for robustness evaluations, resulting in an accuracy drop of 8% compared to the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google