On the Noise Robustness of In-Context Learning for Text Generation

要約

大規模言語モデル (LLM) は、注釈付きのサンプルの大規模なセットから選択されたデモンストレーションの品質に大きく依存する、コンテキスト内学習 (ICL) による下流タスクで優れたパフォーマンスを示しています。
最近の研究では、コンテキスト内学習はテキスト分類におけるノイズの多いデモンストレーションに対して堅牢であると主張しています。
この研究では、テキスト生成タスクにおいて、ノイズの多い注釈がコンテキスト内学習のパフォーマンスに大きな悪影響を与えることを示しました。
この問題を回避するために、ローカル パープレキシティ ランキング (LPR) と呼ばれるシンプルで効果的なアプローチを提案します。これは、「ノイズの多い」候補を、よりクリーンである可能性が高い最も近い候補に置き換えます。
私たちの方法は、ノイズのあるラベルによって引き起こされるパープレキシティの偏差を分析し、パープレキシティを固有のパープレキシティとマッチングパープレキシティに分解することによって動機づけられています。
したがって、LPR の背後にある重要なアイデアは、意味論的空間で隣接するものの間でランキングを実行することによって、マッチングの複雑さを切り離すことです。
私たちのアプローチは、元の選択方法の有効性を維持しながら、選択されたデモンストレーションに不一致の入力ラベルのペアが含まれるのを防ぐことができます。
広範な実験により、LPR の有効性が実証され、ノイズの多い注釈を含む一般的なベンチマークで EM スコアが最大 18.75 向上しました。

要約(オリジナル)

Large language models (LLMs) have shown impressive performance on downstream tasks by in-context learning (ICL), which heavily relies on the quality of demonstrations selected from a large set of annotated examples. Recent works claim that in-context learning is robust to noisy demonstrations in text classification. In this work, we show that, on text generation tasks, noisy annotations significantly hurt the performance of in-context learning. To circumvent the issue, we propose a simple and effective approach called Local Perplexity Ranking (LPR), which replaces the ‘noisy’ candidates with their nearest neighbors that are more likely to be clean. Our method is motivated by analyzing the perplexity deviation caused by noisy labels and decomposing perplexity into inherent perplexity and matching perplexity. Our key idea behind LPR is thus to decouple the matching perplexity by performing the ranking among the neighbors in semantic space. Our approach can prevent the selected demonstrations from including mismatched input-label pairs while preserving the effectiveness of the original selection methods. Extensive experiments demonstrate the effectiveness of LPR, improving the EM score by up to 18.75 on common benchmarks with noisy annotations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google