MEAL: Stable and Active Learning for Few-Shot Prompting

要約

少数ショット分類は、プライミングとプロンプトを通じて非常に効果的な少数ショット学習者となる基礎モデルのおかげで大きく進歩しました。
ただし、このアプローチでは、いくつかのショットの異なるセット (データ選択) と、異なる微調整実行 (実行のばらつき) の両方で大きなばらつきがあります。
これは、さまざまなアプローチの公正な比較を妨げるだけでなく、特に多くの実世界のアプリケーションにとって少数ショット学習の信頼性が低すぎるため、問題があります。
これらの問題を軽減するために、私たちはより安定した効果的な少数ショット学習のために 2 つの貢献を行います。まず、新しいアンサンブル手法を提案し、それが実行の変動性を大幅に低減することを示します。
次に、データ選択のための新しいアクティブ ラーニング (AL) 基準を導入し、プロンプトベースの学習に特化した最初の AL ベースのアプローチを紹介します。
私たちの実験では、組み合わせ手法である MEAL (マルチプロンプト微調整とアクティブ ラーニングによる予測アンサンブル) により、5 つの多様なタスクでプロンプトベースの微調整の全体的なパフォーマンスが 2.3 ポイント向上することが示されました。
コードとデータ分割は https://github.com/akoksal/MEAL で公開されています。

要約(オリジナル)

Few-shot classification has made great strides due to foundation models that, through priming and prompting, are highly effective few-shot learners. However, this approach has high variance both across different sets of few shots (data selection) and across different finetuning runs (run variability). This is problematic not only because it impedes the fair comparison of different approaches, but especially because it makes few-shot learning too unreliable for many real-world applications. To alleviate these issues, we make two contributions for more stable and effective few-shot learning: First, we propose novel ensembling methods and show that they substantially reduce run variability. Second, we introduce a new active learning (AL) criterion for data selection and present the first AL-based approach specifically tailored towards prompt-based learning. In our experiments, we show that our combined method, MEAL (Multiprompt finetuning and prediction Ensembling with Active Learning), improves overall performance of prompt-based finetuning by 2.3 points on five diverse tasks. We publicly share our code and data splits in https://github.com/akoksal/MEAL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google