Enhancing Input-Label Mapping in In-Context Learning with Contrastive Decoding

要約

大規模な言語モデル（LLMS）は、コンテキスト内学習（ICL）を通じてさまざまなタスクに優れており、いくつかのタスクの例は予測を導きます。
ただし、以前の調査では、LLMがICLの入力ラベルマッピング情報を見落としていることが多く、事前に訓練された知識に依存していることを強調しています。
この問題に対処するために、陽性と否定のコンテキストの例の間の出力分布を対比することにより入力ラベルマッピングを強調する新しい方法であるコンテキスト内コントラストデコード（ICCD）を紹介します。
7つの自然言語理解（NLU）タスクに関する実験は、ICCDメソッドが追加のトレーニングを必要とせずに6つの異なるスケールのLLMに一貫した大幅な改善（平均で最大+2.1改善）をもたらすことを示しています。
私たちのアプローチは多用途であり、さまざまなデモンストレーション選択方法でパフォーマンスを向上させ、その幅広い適用性と有効性を実証しています。
コードとスクリプトは公開されます。

要約(オリジナル)

Large language models (LLMs) excel at a range of tasks through in-context learning (ICL), where only a few task examples guide their predictions. However, prior research highlights that LLMs often overlook input-label mapping information in ICL, relying more on their pre-trained knowledge. To address this issue, we introduce In-Context Contrastive Decoding (ICCD), a novel method that emphasizes input-label mapping by contrasting the output distributions between positive and negative in-context examples. Experiments on 7 natural language understanding (NLU) tasks show that our ICCD method brings consistent and significant improvement (up to +2.1 improvement on average) upon 6 different scales of LLMs without requiring additional training. Our approach is versatile, enhancing performance with various demonstration selection methods, demonstrating its broad applicability and effectiveness. The code and scripts will be publicly released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google