X-PEFT: eXtremely Parameter-Efficient Fine-Tuning for Extreme Multi-Profile Scenarios

要約

アダプター調整などのパラメーター効率の良い微調整 (PEFT) 手法は、特定のタスクまたはプロファイルに対して最小限のパラメーターを使用して、事前トレーニング済み言語モデル (PLM) を微調整することを目的としています。
アダプターのチューニングでは、フルモデルの微調整と比較してパラメーターの効率が向上しますが、プロファイルごとに PLM に付加される追加パラメーターの小さなセットが導入されます。
これは、複数のプロファイルを使用する実際のアプリケーション、特にプロファイル数の大幅な増加により追加パラメータの総数が直線的に増加する場合に問題になる可能性があります。
この問題を軽減するために、X-PEFT を導入します。これは、新しいプロファイルに合わせて非常に小さなコンパクト テンソルのセットを微調整することで、多数の指定されたアダプターを活用する新しい PEFT 手法です。これは、指定されたアダプターを適応的に選択するためのバイナリ マスクとして機能します。
提案した方法を効率的に検証するために、多数のトレーニング済みまたは未トレーニング (ランダム) アダプターを使用してそれを実装します。
LaMP および GLUE タスクを通じて X-PEFT のパフォーマンスを評価し、プロファイルあたりのメモリ要件が従来のアダプター チューニングの有効性と比較して 10,000 分の 1 に削減されているにもかかわらず、それと同等またはそれを上回ることを実証しました。

要約(オリジナル)

Parameter-efficient fine-tuning (PEFT) techniques, such as adapter tuning, aim to fine-tune a pre-trained language model (PLM) using a minimal number of parameters for a specific task or profile. Although adapter tuning provides increased parameter efficiency compared to full-model fine-tuning, it introduces a small set of additional parameters attached to a PLM for each profile. This can become problematic in practical applications with multiple profiles, particularly when a significant increase in the number of profiles linearly boosts the total number of additional parameters. To mitigate this issue, we introduce X-PEFT, a novel PEFT method that leverages a multitude of given adapters by fine-tuning an extremely small set of compact tensors for a new profile, which serve as binary masks to adaptively select the given adapters. To efficiently validate our proposed method, we implement it using a large number of trained or untrained (random) adapters. We evaluate the performance of X-PEFT through LaMP and GLUE tasks and demonstrate that it either matches or surpasses the effectiveness of conventional adapter tuning, despite reducing the memory requirements per profile by a factor of 10,000 compared to it.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google