Compositional Exemplars for In-context Learning

要約

大規模な事前トレーニング済み言語モデル (LM) は、優れたインコンテキスト学習 (ICL) 能力を示しています。この能力では、モデルは、パラメーターを更新することなく、デモンストレーションとして入出力の例で構成されるプロンプトを介して、目に見えないタスクの実行を学習します。
ICL のパフォーマンスは、選択されたコンテキスト内のサンプルの品質によって大きく左右されます。
ただし、以前の選択方法はほとんどが単純なヒューリスティックに基づいており、最適なパフォーマンスが得られませんでした。
この研究では、コンテキスト内の例の選択をサブセット選択問題として定式化します。
私たちは、CEIL (コンテキスト内学習のための構成例) を提案します。これは、決定点プロセス (DPP) によってインスタンス化され、指定された入力とコンテキスト内の例の間の相互作用をモデル化し、選好を得るために慎重に設計された対照的な学習目標を通じて最適化されます。
LMから。
感情分析、言い換え検出、自然言語推論、常識的推論、オープンドメイン質問応答、コード生成、意味解析を含む 7 つの異なる NLP タスクからの 12 の分類および生成データセットで CEIL を検証します。
広範な実験により、最先端のパフォーマンスだけでなく、CEIL の移転可能性と構成性も実証され、効果的かつ効率的なコンテキスト内学習に新たな光が当てられます。
私たちのコードは https://github.com/HKUNLP/icl-ceil でリリースされています。

要約(オリジナル)

Large pretrained language models (LMs) have shown impressive In-Context Learning (ICL) ability, where the model learns to do an unseen task via a prompt consisting of input-output examples as the demonstration, without any parameter updates. The performance of ICL is highly dominated by the quality of the selected in-context examples. However, previous selection methods are mostly based on simple heuristics, leading to sub-optimal performance. In this work, we formulate in-context example selection as a subset selection problem. We propose CEIL (Compositional Exemplars for In-context Learning), which is instantiated by Determinantal Point Processes (DPPs) to model the interaction between the given input and in-context examples, and optimized through a carefully-designed contrastive learning objective to obtain preference from LMs. We validate CEIL on 12 classification and generation datasets from 7 distinct NLP tasks, including sentiment analysis, paraphrase detection, natural language inference, commonsense reasoning, open-domain question answering, code generation, and semantic parsing. Extensive experiments demonstrate not only the state-of-the-art performance but also the transferability and compositionality of CEIL, shedding new light on effective and efficient in-context learning. Our code is released at https://github.com/HKUNLP/icl-ceil.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google