Can In-context Learners Learn a Reasoning Concept from Demonstrations?

要約

大規模な言語モデルは、少数の入出力デモンストレーションから新しいタスクを学習する新たな能力を示します。
しかし、最近の研究では、コンテキスト内の学習者は、入力内容から新しい関連性を見つけるのではなく、ラベルの感情など、事前に訓練された知識に主に依存していることが示されています。
ただし、コンテキスト内のデモンストレーションのランダムな選択を使用する一般的に使用される少数ショット評価設定では、ランダムに選択されたデモンストレーションのほとんどが、予測に有益な関係を提示していないため、デモンストレーションから新しいスキルを学習するモデルの能力を解きほぐすことはできません。
新しいタスクの配布を公開します。
モデルのメモリに依存しないモデルのコンテキスト内学習能力のもつれを解くために、予測されたサンプルと有益な概念を共有する可能性のあるデモンストレーションを選択する、概念的な少数ショット学習方法を導入します。
注釈付きの説明からそのような概念のセットを抽出し、数ショットのデモンストレーションでこれらの概念を提示することでモデルがどの程度のメリットを得られるかを測定します。
小さいモデルほど、提示されたコンセプトに対してより敏感であることがわかります。
一部のモデルは、評価された概念ごとに概念提示のデモンストレーションから恩恵を受けることができましたが、評価されたコンテキスト内学習者のいずれも、提示されたすべての推論概念から一貫して恩恵を受けることができず、コンテキスト内での概念学習は未解決の課題のままであることがわかりました。

要約(オリジナル)

Large language models show an emergent ability to learn a new task from a small number of input-output demonstrations. However, recent work shows that in-context learners largely rely on their pre-trained knowledge, such as the sentiment of the labels, instead of finding new associations in the input. However, the commonly-used few-shot evaluation settings using a random selection of in-context demonstrations can not disentangle models’ ability to learn a new skill from demonstrations, as most of the randomly-selected demonstrations do not present relations informative for prediction beyond exposing the new task distribution. To disentangle models’ in-context learning ability independent of models’ memory, we introduce a Conceptual few-shot learning method selecting the demonstrations sharing a possibly-informative concept with the predicted sample. We extract a set of such concepts from annotated explanations and measure how much can models benefit from presenting these concepts in few-shot demonstrations. We find that smaller models are more sensitive to the presented concepts. While some of the models are able to benefit from concept-presenting demonstrations for each assessed concept, we find that none of the assessed in-context learners can benefit from all presented reasoning concepts consistently, leaving the in-context concept learning an open challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google