Rectifying Demonstration Shortcut in In-Context Learning

要約

大規模言語モデル (LLM) は、インコンテキスト学習 (ICL) 機能を利用して、わずか数回のデモン​​ストレーションでさまざまなタスクを解決できます。
ただし、LLM は多くの場合、入力とラベルの関係ではなく、デモンストレーションの事前トレーニングされた意味事前分布に依存して ICL 予測を進めます。
この研究では、この現象を「デモンストレーション ショートカット」と呼びます。
これまでの研究は主に事前定義されたタスクの ICL 予測結果を改善することに焦点を当てていましたが、私たちはデモンストレーション ショートカットを修正し、それによって LLM がデモンストレーションから新しい入力とラベルの関係を効果的に学習できるようにすることを目指しています。
これを達成するために、デモンストレーションを意識したキャリブレーション方法であるインコンテキスト キャリブレーションを導入します。
提案された方法の有効性を 2 つの設定で評価します。(1) 標準ラベル空間を使用するオリジナル ICL タスクと、(2) ラベル空間が意味的に無関係なトークンに置き換えられるタスク学習設定です。
どちらの設定でも、インコンテキスト キャリブレーションは大幅な改善を示し、結果はさまざまな構成の下で 3 つの LLM ファミリ (OPT、GPT、および Llama2) にわたって一般化されています。

要約(オリジナル)

Large language models (LLMs) are able to solve various tasks with only a few demonstrations utilizing their in-context learning (ICL) abilities. However, LLMs often rely on their pre-trained semantic priors of demonstrations rather than on the input-label relationships to proceed with ICL prediction. In this work, we term this phenomenon as the ‘Demonstration Shortcut’. While previous works have primarily focused on improving ICL prediction results for predefined tasks, we aim to rectify the Demonstration Shortcut, thereby enabling the LLM to effectively learn new input-label relationships from demonstrations. To achieve this, we introduce In-Context Calibration, a demonstration-aware calibration method. We evaluate the effectiveness of the proposed method in two settings: (1) the Original ICL Task using the standard label space and (2) the Task Learning setting, where the label space is replaced with semantically unrelated tokens. In both settings, In-Context Calibration demonstrates substantial improvements, with results generalized across three LLM families (OPT, GPT, and Llama2) under various configurations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google