In-context Example Selection with Influences

要約

インコンテキスト学習 (ICL) は、大規模言語モデル (LLM) から生まれた強力なパラダイムです。
その約束にもかかわらず、ICL のパフォーマンスは入力例に非常に敏感であることが知られています。
この作業では、コンテキスト内の影響を使用して、コンテキスト内の例から直接少数ショットの ICL パフォーマンスを分析します。
提案された影響に基づく例の選択方法は、10 個の SuperGlue タスクで評価した場合、ほとんどのベースラインよりも優れており、k ショットの増加に伴って安定してスケーリングします。
分析では、最もプラスの影響を与えた例とマイナスの影響を与えた例の間に最大 22.2% のパフォーマンス ギャップがあることがわかりました。
ケーススタディでは、影響に基づくフレームワークを適用して、少数ショット ICL の例の順序付けにおける最新性バイアスの現象を定量化します。

要約(オリジナル)

In-context learning (ICL) is a powerful paradigm emerged from large language models (LLMs). Despite its promises, ICL performance is known to be highly sensitive to input examples. In this work, we use in-context influences to analyze few-shot ICL performance directly from the in-context examples. Our proposed influence-based example selection method outperforms most baselines when evaluated on 10 SuperGlue tasks and stably scales with increasing k-shot. The analysis finds up to a 22.2% performance gap between the most positively and negatively influential examples. In a case study, we apply our influence-based framework to quantify the phenomena of recency bias in example ordering for few-shot ICL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google