Comparable Demonstrations are Important in In-Context Learning: A Novel Perspective on Demonstration Selection

要約

インコンテキスト学習 (ICL) は、いくつかのデモンストレーションを通じて大規模言語モデル (LLM) を下流のタスクに適応させるための重要なパラダイムです。
ICL は大きな成功を収めましたが、デモンストレーション数の制限によりデモンストレーションのバイアスが生じる可能性があります。つまり、LLM によって引き起こされる入力ラベル マッピングがタスクの本質を誤解する可能性があります。
私たちは人間の経験に触発され、デモンストレーション間の関係の観点からそのような偏見を軽減することを試みます。
具体的には、タスクの本質を強調し、デモンストレーション間の比較を通じて潜在的な誤った相関関係を排除するために、テキストを最小限に編集して対応するラベルを反転することにより、比較可能なデモンストレーション (CD) を構築します。
CD に関する一連の実験を通じて、(1) LLM には実証バイアスが存在し、CD はそのようなバイアスを大幅に軽減できることがわかりました。
(2) CD は、特に配布外のシナリオで、ICL で良好なパフォーマンスを示します。
要約すると、この研究は新しい観点から ICL のメカニズムを調査し、ICL の実証選択戦略に対するより深い洞察を提供します。

要約(オリジナル)

In-Context Learning (ICL) is an important paradigm for adapting Large Language Models (LLMs) to downstream tasks through a few demonstrations. Despite the great success of ICL, the limitation of the demonstration number may lead to demonstration bias, i.e. the input-label mapping induced by LLMs misunderstands the task’s essence. Inspired by human experience, we attempt to mitigate such bias through the perspective of the inter-demonstration relationship. Specifically, we construct Comparable Demonstrations (CDs) by minimally editing the texts to flip the corresponding labels, in order to highlight the task’s essence and eliminate potential spurious correlations through the inter-demonstration comparison. Through a series of experiments on CDs, we find that (1) demonstration bias does exist in LLMs, and CDs can significantly reduce such bias; (2) CDs exhibit good performance in ICL, especially in out-of-distribution scenarios. In summary, this study explores the ICL mechanisms from a novel perspective, providing a deeper insight into the demonstration selection strategy for ICL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google