When Federated Learning Meets Pre-trained Language Models’ Parameter-Efficient Tuning Methods

要約

データに対するプライバシーの懸念が高まる中、最近の研究では、プライバシーに配慮した自然言語処理（NLP）タスクに連合学習（FL）を用いることで大きな進展があった。多くの文献は、FLパラダイムにおいて、事前に訓練された言語モデル（PLM）を完全に微調整することで、データの異質性問題を緩和し、集中訓練との性能差を縮めることができることを示唆しています。しかし、大規模なPLMは、FLシステムにとって、法外な通信オーバーヘッドとローカルモデルの適応コストという呪いをもたらす。このため、我々は、様々なパラメータ効率的チューニング（PETuning）手法を連携学習に導入する。具体的には、FLにおける代表的なPLMsのチューニング手法の全体的な実証研究を提供する。実験結果は、データの異質性レベル、データスケール、および異なるFLシナリオの分析をカバーしている。様々なFL設定において許容できる性能を維持しながら、軽量モデルパラメータをローカルにチューニングしグローバルに集約することで、全体的な通信オーバーヘッドを大幅に削減することができます。また、FLにおけるPETuningの研究を促進するために、Federated tuning framework FedPETuningを開発し、実務家がFLトレーニングパラダイム下で異なるPETuning手法を便利に活用できるようにしました。ソースコードは⾵⽊で公開されています。

要約(オリジナル)

With increasing privacy concerns on data, recent studies have made significant progress using federated learning (FL) on privacy-sensitive natural language processing (NLP) tasks. Much literature suggests fully fine-tuning pre-trained language models (PLMs) in the FL paradigm can mitigate the data heterogeneity problem and close the performance gap with centralized training. However, large PLMs bring the curse of prohibitive communication overhead and local model adaptation costs for the FL system. To this end, we introduce various parameter-efficient tuning (PETuning) methods into federated learning. Specifically, we provide a holistic empirical study of representative PLMs tuning methods in FL. The experimental results cover the analysis of data heterogeneity levels, data scales, and different FL scenarios. Overall communication overhead can be significantly reduced by locally tuning and globally aggregating lightweight model parameters while maintaining acceptable performance in various FL settings. To facilitate the research of PETuning in FL, we also develop a federated tuning framework FedPETuning, which allows practitioners to exploit different PETuning methods under the FL training paradigm conveniently. The source code is available at \url{https://github.com/iezhuozhuo/FedETuning/tree/deltaTuning}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL