Can In-context Learners Learn a Reasoning Concept from Demonstrations?

要約

言語モデルは、少数の入出力デモンストレーションから新しいタスクを学習する創発的な能力を示します。
しかし、最近の研究では、コンテキスト内の学習者は、入力から新しい関連付けを学習するのではなく、ラベルの感情など、事前に訓練された知識に主に依存していることが示されています。
私たちは、ランダムに選択されたデモンストレーションのほとんどは、タスクの入力を明らかにする以上に予測に有益な関係を提示しないため、コンテキスト内のデモンストレーションのランダムな選択を使用した一般的に使用される少数ショット評価では、モデルのそのようなバイアスへの依存を解きほぐすことはできないと主張します。
-出力分布。
したがって、モデルのメモリに依存せずにモデルのコンテキスト内学習能力を評価するために、予測サンプルと基礎となる概念を共有するデモンストレーションを選択する概念共有少数ショット学習方法を導入します。
私たちは人間による利用可能な説明からそのような概念のセットを抽出し、これらの概念を数ショットのデモンストレーションで提示することでモデルがどの程度の利益を得られるかを測定します。
最近のコンテキスト学習者のほとんどは、モデルのサイズに関係なく、実証された概念から一貫して恩恵を受けることができないことがわかりました。
ただし、T0 モデルは展示されたコンセプトに対してより敏感であり、8 つの評価シナリオのうち 7 つでコンセプト共有デモンストレーションの恩恵を受けていることに注目します。

要約(オリジナル)

Language models exhibit an emergent ability to learn a new task from a small number of input-output demonstrations. However, recent work shows that in-context learners largely rely on their pre-trained knowledge, such as the sentiment of the labels, instead of learning new associations from the input. We argue that the commonly-used few-shot evaluation using a random selection of in-context demonstrations can not disentangle models’ reliance on such biases, as most of the randomly-selected demonstrations do not present relations informative for prediction beyond exposing the task’s input-output distribution. Therefore, to evaluate models’ in-context learning ability independent of models’ memory, we introduce a Concept-sharing few-shot learning method choosing the demonstrations that share an underlying concept with the predicted sample. We extract a set of such concepts from available human explanations and measure how much models can benefit from presenting these concepts in few-shot demonstrations. We find that most of the recent in-context learners can not consistently benefit from the demonstrated concepts, irrespective of the model size. However, we note that T0 models are more sensitive to exhibited concepts, benefiting from concept-sharing demonstrations in 7 out of 8 evaluation scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google