Can In-context Learners Learn a Reasoning Concept from Demonstrations?

要約

タイトル：『文脈の中で学習する学習者は、実演から推論の概念を学ぶことができるか？』

要約：
– 大規模な言語モデルは、少数の入出力デモンストレーションから新しいタスクを学ぶ能力を持っていることが示されている。
– しかし、最近の研究では、文脈における学習者は、入力に新しい関連性を見出す代わりに、特定の事前学習された知識、例えばラベルの感情などに大きく頼っていることが示されている。
– 一般的に使用されているfew-shot評価設定では、ランダムに選択された文脈内デモンストレーションは、予測を行うために情報的な関係を提供することができず、タスク分布を披露することができるだけであるため、モデルがデモンストレーションから新しいスキルを学ぶ能力を分離することができない。
– モデルの記憶に依存しない文脈内学習能力を分離するために、概念的なfew-shot学習方法を提案する。この方法では、予測されたサンプルと共に、有用な概念を共有するデモンストレーションを選択する。
– 注釈付き説明から多数の概念を抽出し、これらの概念をfew-shotデモンストレーションで提示した場合にモデルがどの程度恩恵を受けるかを測定する。小規模なモデルほど提示された概念に敏感であることがわかった。
– いくつかのモデルは、各評価された概念に対して概念提示デモンストレーションから恩恵を受けることができるが、評価された文脈内学習者は、すべての提示された推論概念から一貫して恩恵を受けることができないことがわかり、文脈内概念学習は未解決の課題となっている。

要約(オリジナル)

Large language models show an emergent ability to learn a new task from a small number of input-output demonstrations. However, recent work shows that in-context learners largely rely on their pre-trained knowledge, such as the sentiment of the labels, instead of finding new associations in the input. However, the commonly-used few-shot evaluation settings using a random selection of in-context demonstrations can not disentangle models’ ability to learn a new skill from demonstrations, as most of the randomly-selected demonstrations do not present relations informative for prediction beyond exposing the new task distribution. To disentangle models’ in-context learning ability independent of models’ memory, we introduce a Conceptual few-shot learning method selecting the demonstrations sharing a possibly-informative concept with the predicted sample. We extract a set of such concepts from annotated explanations and measure how much can models benefit from presenting these concepts in few-shot demonstrations. We find that smaller models are more sensitive to the presented concepts. While some of the models are able to benefit from concept-presenting demonstrations for each assessed concept, we find that none of the assessed in-context learners can benefit from all presented reasoning concepts consistently, leaving the in-context concept learning an open challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI