Active Learning Principles for In-Context Learning with Large Language Models

要約

大規模言語モデル (LLM) の目覚ましい進歩により、数回の学習設定でのパフォーマンスが大幅に向上しました。
デモンストレーションと呼ばれる少数のラベル付きサンプルのみを使用することで、LLM はコンテキスト内学習を通じて当面のタスクを効果的に把握できます。
しかし、適切なデモンストレーションを選択するプロセスは、これまでの研究ではあまり注目されていませんでした。
このペーパーでは、少数ショット学習を 1 回の反復にわたるプールベースのアクティブ ラーニング (AL) 問題としてアプローチすることにより、そのための最も有益なデモンストレーションを特定するという問題に取り組みます。
私たちの目的は、AL アルゴリズムがコンテキスト内学習の効果的なデモンストレーション選択方法としてどのように機能するかを調査することです。
私たちは、不確実性、多様性、類似性に基づいてさまざまな標準 AL アルゴリズムを比較し、後者がランダム サンプリングを含む他のすべての方法よりも優れていることを一貫して観察しています。
注目すべきことに、不確実性サンプリングは、従来の教師あり学習シナリオでは成功しているにもかかわらず、この状況ではあまりパフォーマンスが良くありません。
$24$ の分類と多肢選択タスクにわたる多様な GPT モデルと OPT モデルを含む広範な実験と、徹底した分析を組み合わせた結果、AL によるコンテキスト内のサンプルの選択により、不確実性が低く、類似性を持つ高品質のサンプルが優先されることが明確に実証されました。
テスト例。

要約(オリジナル)

The remarkable advancements in large language models (LLMs) have significantly enhanced the performance in few-shot learning settings. By using only a small number of labeled examples, referred to as demonstrations, LLMs can effectively grasp the task at hand through in-context learning. However, the process of selecting appropriate demonstrations has received limited attention in prior work. This paper addresses the issue of identifying the most informative demonstrations for few-shot learning by approaching it as a pool-based Active Learning (AL) problem over a single iteration. Our objective is to investigate how AL algorithms can serve as effective demonstration selection methods for in-context learning. We compare various standard AL algorithms based on uncertainty, diversity, and similarity, and consistently observe that the latter outperforms all other methods, including random sampling. Notably, uncertainty sampling, despite its success in conventional supervised learning scenarios, performs poorly in this context. Our extensive experimentation involving a diverse range of GPT and OPT models across $24$ classification and multi-choice tasks, coupled with thorough analysis, unambiguously demonstrates that in-context example selection through AL prioritizes high-quality examples that exhibit low uncertainty and bear similarity to the test examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google