Parameter-Efficient Fine-Tuning With Adapters

要約

言語モデルの微調整の分野では、ドメイン適応型事前トレーニング (DAPT) やタスク適応型事前トレーニング (TAPT) などの従来のアプローチは効果的ですが、計算量が多くなります。
この研究では、UniPELT フレームワークをベースとして利用する新しい適応方法を導入し、PromptTuning レイヤーを追加しました。これにより、さまざまなベンチマークにわたって競争力のあるパフォーマンスを維持しながら、トレーニング可能なパラメーターの数が大幅に削減されます。
私たちの方法ではアダプターを採用しているため、基本モデルのパラメーターの再トレーニングを最小限に抑えながら、事前トレーニングされたモデルを新しいタスクに効率的に転送できます。
私たちは 3 つの多様なデータセットを使用してアプローチを評価します。GLUE ベンチマーク、4 つの異なる領域で構成されるドメイン固有のデータセット、および Stanford Question Answering Dataset 1.1 (SQuAD)。
私たちの結果は、カスタマイズされたアダプターベースの手法が、必要なパラメーターの量が少ないか同等でありながら、フルモデルの微調整、DAPT+TAPT、および UniPELT 戦略に匹敵するパフォーマンスを達成することを示しています。
このパラメータの効率により、計算負担が軽減されるだけでなく、適応プロセスも迅速化されます。
この研究は、リソース消費を大幅に削減しながら高いパフォーマンスを実現するアダプターの可能性を強調し、パラメーター効率の高い微調整における将来の研究の有望な方向性を示唆しています。

要約(オリジナル)

In the arena of language model fine-tuning, the traditional approaches, such as Domain-Adaptive Pretraining (DAPT) and Task-Adaptive Pretraining (TAPT), although effective, but computational intensive. This research introduces a novel adaptation method utilizing the UniPELT framework as a base and added a PromptTuning Layer, which significantly reduces the number of trainable parameters while maintaining competitive performance across various benchmarks. Our method employs adapters, which enable efficient transfer of pretrained models to new tasks with minimal retraining of the base model parameters. We evaluate our approach using three diverse datasets: the GLUE benchmark, a domain-specific dataset comprising four distinct areas, and the Stanford Question Answering Dataset 1.1 (SQuAD). Our results demonstrate that our customized adapter-based method achieves performance comparable to full model fine-tuning, DAPT+TAPT and UniPELT strategies while requiring fewer or equivalent amount of parameters. This parameter efficiency not only alleviates the computational burden but also expedites the adaptation process. The study underlines the potential of adapters in achieving high performance with significantly reduced resource consumption, suggesting a promising direction for future research in parameter-efficient fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google