FeDeRA:Efficient Fine-tuning of Language Models in Federated Learning Leveraging Weight Decomposition

要約

事前トレーニングされた言語モデル (PLM) は、微調整後のさまざまな下流タスクで優れたパフォーマンスを示しました。
それにもかかわらず、ユーザーのプライバシーをめぐる懸念の高まりにより、広範なデータ収集に依存した一元的なトレーニングに大きな課題が生じています。
クライアント上でトレーニングのみを必要とし、データを共有せずにサーバー上で重みを集約するフェデレーテッド ラーニングがソリューションとして登場しました。
ただし、PLM のパラメータ サイズが大きいため、クライアント デバイスの計算リソースに大きな負担がかかり、また、高額な通信費も発生します。
フェデレーテッド ラーニングに Parameter-Efficient Fine-Tuning (PEFT) を導入すると、この問題に効果的に対処できます。
ただし、フェデレーテッド ラーニングの非 IID データは、PEFT メソッドとフル パラメーター ファインチューニング (FFT) の間のパフォーマンスにギャップをもたらすことが観察されています。
これを克服するために、フェデレーテッド ラーニングにおける Low-Rank Adaption(LoRA) 手法を改良した FeDeRA を提案します。
FeDeRA は LoRA と同じアダプター モジュールを使用します。
ただし、違いは、FeDeRA が事前学習行列に対して特異値分解 (SVD) を実行し、その主成分を選択することによってアダプター モジュールを初期化する点にあります。
私たちは、RoBERTa と DeBERTaV3 を使用して 6 つのデータセットに対して広範な実験を実施し、FFT と他の 3 つの異なる PEFT 手法を含む手法を比較しました。
FeDeRA は他のすべての PEFT 手法よりも優れており、FFT 手法と同等かそれを上回るパフォーマンスを示します。
また、Jetson AGX Orin にフェデレーテッド ラーニングを導入し、特定のタスクで目標精度を達成するためにさまざまな方法で必要な時間を比較しました。
FFT と比較して、FeDeRA は、RoBERTa と DeBERTaV3 を使用した 3 つのタスクで、トレーニング時間をそれぞれ 95.9\%、97.9\%、96.9\%、および 97.3\%、96.5\%、96.5\% 削減しました。
全体的な実験は、FeDeRA が効率を維持しながら良好なパフォーマンスを達成することを示しています。

要約(オリジナル)

Pre-trained Language Models (PLMs) have shown excellent performance on various downstream tasks after fine-tuning. Nevertheless, the escalating concerns surrounding user privacy have posed significant challenges to centralized training reliant on extensive data collection. Federated learning, which only requires training on the clients and aggregates weights on the server without sharing data, has emerged as a solution. However, the substantial parameter size of PLMs places a significant burden on the computational resources of client devices, while also leading to costly communication expenses. Introducing Parameter-Efficient Fine-Tuning(PEFT) into federated learning can effectively address this problem. However, we observe that the non-IID data in federated learning leads to a gap in performance between the PEFT method and full parameter fine-tuning(FFT). To overcome this, we propose FeDeRA, an improvement over the Low-Rank Adaption(LoRA) method in federated learning. FeDeRA uses the same adapter module as LoRA. However, the difference lies in FeDeRA’s initialization of the adapter module by performing Singular Value Decomposition (SVD) on the pre-trained matrix and selecting its principal components. We conducted extensive experiments, using RoBERTa and DeBERTaV3, on six datasets, comparing the methods including FFT and the other three different PEFT methods. FeDeRA outperforms all other PEFT methods and is comparable to or even surpasses the performance of FFT method. We also deployed federated learning on Jetson AGX Orin and compared the time required by different methods to achieve the target accuracy on specific tasks. Compared to FFT, FeDeRA reduces the training time by 95.9\%, 97.9\%, 96.9\% and 97.3\%, 96.5\%, 96.5\% respectively on three tasks using RoBERTa and DeBERTaV3. The overall experiments indicate that FeDeRA achieves good performance while also maintaining efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google