Systematic Analysis for Pretrained Language Model Priming for Parameter-Efficient Fine-tuning

要約

事前トレーニング済み言語モデル (PLM) を下流タスクに適応させるためのパラメーター効率的 (PE) メソッド (プロンプトやアダプターなど) が最近人気です。
しかし、依然として障害があり、これらの方法がその潜在力を最大限に発揮することはできません。
たとえば、2 つの重要な課題は、少数ショットへの適応とクロスタスクの一般化です。
これらの問題に取り組むために、PE 法の少数ショット適応および一般化能力を強化および探索するための一般的な PE プライミング フレームワークを提案します。
このフレームワークでは、PLM はさまざまなターゲット タスクに迅速に適応するための PE メソッドを備えています。
これらの PE 手法の汎化能力を評価するために、160 の多様な NLP タスクを含む数ショットのクロスドメイン ベンチマークで実験を実施します。
私たちの実験は、最良のプライミング戦略を明らかにするだけでなく、プライミングがターゲットタスクへの適応を促進することも検証します。

要約(オリジナル)

Parameter-efficient (PE) methods (like Prompts or Adapters) for adapting pre-trained language models (PLM) to downstream tasks have been popular recently. However, hindrances still prevent these methods from reaching their full potential. For example, two significant challenges are few-shot adaptation and cross-task generalization. To tackle these issues, we propose a general PE priming framework to enhance and explore the few-shot adaptation and generalization ability of PE methods. In this framework, PLMs are primed with PE methods for rapidly adapting to various target tasks. To evaluate the generalization ability of these PE methods, we conduct experiments on a few-shot cross-domain benchmark containing 160 diverse NLP tasks. Our experiment not only reveals the best priming strategy but also verifies that priming facilitates the adaptation to target tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google