Measuring Inductive Biases of In-Context Learning with Underspecified Demonstrations

要約

インコンテキスト学習 (ICL) は、大規模言語モデル (LLM) を新しいタスクに適応させるための重要なパラダイムですが、ICL の汎化動作はまだ十分に理解されていません。
特徴バイアスの観点から ICL の帰納的バイアスを調査します。つまり、2 つの特徴が同等にラベルを予測する、指定されていないデモンストレーションのセットが与えられた場合、どの特徴 ICL が使用する可能性がより高いかということです。
まず、さまざまな NLP データセットと特徴の組み合わせから不足仕様のデモンストレーションを構築することで、GPT-3 モデルの特徴バイアスを特徴付けます。
LLM は明らかな特徴バイアスを示すことがわかりました。たとえば、句読点などの浅い語彙特徴ではなく感情に従ってラベルを予測するという強いバイアスを示しています。
次に、自然言語命令の追加や意味的に関連するラベル単語の使用など、特定の機能に有利な帰納的バイアスを課すように設計されたさまざまな介入の効果を評価します。
多くの介入が学習者に特定の機能を好むよう影響を与える可能性がある一方で、事前の強いバイアスを克服するのは難しい場合があることがわかりました。
全体として、私たちの結果は、ICL が利用する可能性が高い機能の種類と、意図したタスクによりよく適合する誘導バイアスを課す方法について、より広範な全体像を提供します。

要約(オリジナル)

In-context learning (ICL) is an important paradigm for adapting large language models (LLMs) to new tasks, but the generalization behavior of ICL remains poorly understood. We investigate the inductive biases of ICL from the perspective of feature bias: which feature ICL is more likely to use given a set of underspecified demonstrations in which two features are equally predictive of the labels. First, we characterize the feature biases of GPT-3 models by constructing underspecified demonstrations from a range of NLP datasets and feature combinations. We find that LLMs exhibit clear feature biases – for example, demonstrating a strong bias to predict labels according to sentiment rather than shallow lexical features, like punctuation. Second, we evaluate the effect of different interventions that are designed to impose an inductive bias in favor of a particular feature, such as adding a natural language instruction or using semantically relevant label words. We find that, while many interventions can influence the learner to prefer a particular feature, it can be difficult to overcome strong prior biases. Overall, our results provide a broader picture of the types of features that ICL may be more likely to exploit and how to impose inductive biases that are better aligned with the intended task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google