In-context Example Selection with Influences

要約

インコンテキスト学習（ICL）は、大規模言語モデル（LLM）から生まれた強力なパラダイムである。しかし、ICLの性能は、入力例に対して非常に敏感であることが知られている。本研究では、$textit{in-context influences}$を用いて、コンテキスト内の例から直接、数ショットICL性能を分析する。提案する影響に基づく例選択法は、9つのSuperGLUEタスクで評価した場合、複数のベースラインを凌駕し、ポジティブな例とネガティブな例の両方を識別できる。我々の分析では、最も肯定的な例と比較して、最も否定的な文脈内例を使用した場合、最大16.3%$の性能差があることが明らかになった。ケーススタディでは、影響力ベースのフレームワークを適用して、少数ショットICLの例順序における再帰性バイアスの現象を定量化することができる。

要約(オリジナル)

In-context learning (ICL) is a powerful paradigm emerged from large language models (LLMs). Despite its promises, ICL performance is known to be highly sensitive to input examples. In this work, we use $\textit{in-context influences}$ to analyze few-shot ICL performance directly from the in-context examples. Our proposed influence-based example selection method can identify both positive and negative examples, outperforming several baselines when evaluated on 9 SuperGLUE tasks. Our analysis uncovers up to a $16.3\%$ performance gap between using the most negative in-context examples compared to the most positive. In a case study, we apply our influence-based framework to quantify the phenomena of recency bias in example ordering for few-shot ICL.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL