One size doesn’t fit all: Predicting the Number of Examples for In-Context Learning

要約

インコンテキスト学習 (ICL) は、生成プロセスの探索を効果的に制御することを目的として、ラベル付きデータのトレーニング セットから LLM のプロンプトに少数のローカライズされたサンプル (入力と意味的に類似したサンプル) を追加するプロセスを指します。
下流のタスクのパフォーマンスを向上させるため。
既存の ICL アプローチでは、データ インスタンスごとに同じ数のサンプル (事前構成されたハイパーパラメーター) が使用されます。
私たちの研究では、LLM を使用した少数ショット推論で使用される各データ インスタンスの例の数を動的に予測することで、この「1 つですべてに適合する」アプローチの制限を緩和しています。
特に、マルチラベル分類器を使用します。そのパラメータはトレーニング セットを使用して適合されます。トレーニング セット内の各インスタンスのラベルは、k の特定の値 (0 から 2 までの最も類似した例の数) を使用するかどうかを示します。
最大値）は、正確な k ショットの下流予測につながります。
多数のテキスト分類ベンチマークに関する私たちの実験では、AICL が標準 ICL を最大 17% 大幅に上回るパフォーマンスを示しています。

要約(オリジナル)

In-context learning (ICL) refers to the process of adding a small number of localized examples (ones that are semantically similar to the input) from a training set of labelled data to an LLM’s prompt with an objective to effectively control the generative process seeking to improve the downstream task performance. Existing ICL approaches use an identical number of examples (a pre-configured hyper-parameter) for each data instance. Our work alleviates the limitations of this ‘one fits all’ approach by dynamically predicting the number of examples for each data instance to be used in few-shot inference with LLMs. In particular, we employ a multi-label classifier, the parameters of which are fitted using a training set, where the label for each instance in the training set indicates if using a specific value of k (number of most similar examples from 0 up to a maximum value) leads to correct k-shot downstream predictions. Our experiments on a number of text classification benchmarks show that AICL substantially outperforms standard ICL by up to 17%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google