In-Context Learning in Large Language Models Learns Label Relationships but Is Not Conventional Learning

要約

コンテキストに入力とラベルの関係の例を含めると、ダウンストリーム タスクにおける大規模言語モデル (LLM) のパフォーマンスが大幅に向上することがよくあります。
ただし、LLM のこのインコンテキスト学習 (ICL) 機能がどのように機能するかについては、現時点ではコンセンサスがありません。
Min et al. (2021) は、ICL を汎用学習アルゴリズムに例えています。
(2022b) ICL は文脈内の例からラベル関係さえ学習しないと主張しています。
この論文では、(1) コンテキスト内のサンプルのラベルが予測にどのように影響するか、(2) 事前トレーニング中に学習したラベルの関係が、コンテキスト内で提供される入力ラベルのサンプルとどのように相互作用するか、(3) ICL がどのようにコンテキスト内のサンプル全体でラベル情報を集約するかを研究します。
私たちの調査結果は、LLM は通常、コンテキスト内ラベルからの情報を組み込んでいますが、トレーニング前とコンテキスト内ラベルの関係は異なる方法で扱われ、モデルはすべてのコンテキスト内情報を同等に考慮していないことを示唆しています。
私たちの結果は、LLM の動作を理解し調整するための洞察を与えます。

要約(オリジナル)

The performance of Large Language Models (LLMs) on downstream tasks often improves significantly when including examples of the input-label relationship in the context. However, there is currently no consensus about how this in-context learning (ICL) ability of LLMs works: for example, while Xie et al. (2021) liken ICL to a general-purpose learning algorithm, Min et al. (2022b) argue ICL does not even learn label relationships from in-context examples. In this paper, we study (1) how labels of in-context examples affect predictions, (2) how label relationships learned during pre-training interact with input-label examples provided in-context, and (3) how ICL aggregates label information across in-context examples. Our findings suggests LLMs usually incorporate information from in-context labels, but that pre-training and in-context label relationships are treated differently, and that the model does not consider all in-context information equally. Our results give insights into understanding and aligning LLM behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google