Using Natural Language Explanations to Improve Robustness of In-context Learning for Natural Language Inference

要約

最近の研究では、大規模言語モデル (LLM) が、タスク固有のプロンプトと例によって促進されるコンテキスト内学習 (ICL) を通じて、さまざまなタスクに優れていることが実証されています。
ただし、既存の文献では、ICL が敵対的な入力にさらされるとパフォーマンスが低下することが示されています。
ICL に自然言語説明 (NLE) を追加すると、パフォーマンスが向上することが観察されています (これを X-ICL と呼びます)。
したがって、この研究では、X-ICL が 7 つの敵対的で困難な自然言語推論データセットのスイートに対する LLM の堅牢性を向上できるかどうかを調査します。
さらに、人間が生成した NLE がほとんどない LLM (この場合は ChatGPT) にさらなる NLE (これを ChatGPT 少数ショットと呼びます) を生成させることで、X-ICL への新しいアプローチを導入しました。これは、ChatGPT ゼロショットよりも優れていることを示しています。
ショットと人間が生成した NLE のみ。
5 つの人気のある LLM (GPT3.5-turbo、LLaMa2、Vicuna、Zephyr、Mistral) を評価し、ChatGPT の数ショットを使用した X-ICL が ICL と比較して 6% 以上の改善をもたらすことを示します。
さらに、プロンプト選択戦略は、配布中のテストセットで ICL を大幅に改善することが以前に示されていましたが、これらの戦略はロバスト性指向の評価における X-ICL パラダイムの有効性と一致しないことを示します。

要約(オリジナル)

Recent studies have demonstrated that large language models (LLMs) excel in diverse tasks through in-context learning (ICL) facilitated by task-specific prompts and examples. However, the existing literature shows that ICL encounters performance deterioration when exposed to adversarial inputs. Enhanced performance has been observed when ICL is augmented with natural language explanations (NLEs) (we refer to it as X-ICL). Thus, this work investigates whether X-ICL can improve the robustness of LLMs on a suite of seven adversarial and challenging natural language inference datasets. Moreover, we introduce a new approach to X-ICL by prompting an LLM (ChatGPT in our case) with few human-generated NLEs to produce further NLEs (we call it ChatGPT few-shot), which we show superior to both ChatGPT zero-shot and human-generated NLEs alone. We evaluate five popular LLMs (GPT3.5-turbo, LLaMa2, Vicuna, Zephyr, Mistral) and show that X-ICL with ChatGPT few-shot yields over 6% improvement over ICL. Furthermore, while prompt selection strategies were previously shown to significantly improve ICL on in-distribution test sets, we show that these strategies do not match the efficacy of the X-ICL paradigm in robustness-oriented evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google