PETapter: Leveraging PET-style classification heads for modular few-shot parameter-efficient fine-tuning

要約

データ不足と増大し続ける言語モデル サイズの課題を克服するには、少数ショット学習とパラメーター効率の良い微調整 (PEFT) が不可欠です。
これは特に特殊な科学分野に当てはまります。研究者には、微妙なタスクに合わせて高性能の言語モデルを微調整するための専門知識やリソースが不足している可能性があります。
我々は、PEFT メソッドと PET スタイルの分類ヘッドを効果的に組み合わせて、完全なモデルのトレーニングに通常伴う大幅な計算オーバーヘッドを発生させることなく、少数ショット学習機能を強化する新しい手法である PETapter を提案します。
私たちは、確立された 3 つの NLP ベンチマーク データセットと、通信研究からの 1 つの現実世界のデータセットに基づいてアプローチを検証します。
PETapter は、パターン活用トレーニング (PET) を使用した完全な数ショット微調整に匹敵するパフォーマンスを達成するだけでなく、より高いモジュール性とトレーニングされたモジュールの簡単な共有を可能にしながら、より高い信頼性とより高いパラメータ効率を提供することを示します。
研究者は、研究に高性能の NLP メソッドを利用できます。

要約(オリジナル)

Few-shot learning and parameter-efficient fine-tuning (PEFT) are crucial to overcome the challenges of data scarcity and ever growing language model sizes. This applies in particular to specialized scientific domains, where researchers might lack expertise and resources to fine-tune high-performing language models to nuanced tasks. We propose PETapter, a novel method that effectively combines PEFT methods with PET-style classification heads to boost few-shot learning capabilities without the significant computational overhead typically associated with full model training. We validate our approach on three established NLP benchmark datasets and one real-world dataset from communication research. We show that PETapter not only achieves comparable performance to full few-shot fine-tuning using pattern-exploiting training (PET), but also provides greater reliability and higher parameter efficiency while enabling higher modularity and easy sharing of the trained modules, which enables more researchers to utilize high-performing NLP-methods in their research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google