SA-FedLora: Adaptive Parameter Allocation for Efficient Federated Learning with LoRA Tuning

要約

転移学習による大規模な事前トレーニング済みモデルの微調整は、幅広い下流タスクにとって新たな重要なパラダイムとなっており、パフォーマンスは広範なデータに大きく依存します。
分散型フレームワークとしてのフェデレーテッド ラーニング (FL) は、生の機密データを保護しながら、ローカル データセットでモデルをトレーニングするための安全なソリューションを提供します。
ただし、FL ネットワークでは、大規模な事前トレーニング済みモデルの膨大なパラメーターにより高い通信コストが発生し、パラメーター効率の高い方法が必要になります。
特に、低ランク適応 (LoRA) などのパラメーター効率の良い微調整は、事前トレーニング済みモデルの微調整において顕著な成功を収めています。
ただし、これまでの研究では、固定パラメータのバジェットは過剰適合や収束の遅延を引き起こす可能性があることが示されています。
この課題に対処するために、トレーニング可能なパラメーターを削減することにより、シミュレーテッド アニーリング ベースの LoRA チューニングを使用したフェデレーテッド ラーニング (SA-FedLoRA) アプローチを提案します。
具体的には、SA-FedLoRA は開始とアニーリングの 2 つの段階で構成されます。
(1) 開始段階では、クライアントのドリフトを軽減し、その後の調整の収束を加速することを目的として、集約の初期ラウンド中にパラメーターの正則化アプローチを実装します。
(2) アニーリング段階では、初期の「加熱」段階でより高いパラメーターの予算を割り当て、その後「冷却」段階まで予算を徐々に縮小します。
この戦略は、全体最適への収束を容易にするだけでなく、通信コストも削減します。
実験結果は、SA-FedLoRA が効率的な FL であり、FedAvg よりも優れたパフォーマンスを達成し、通信パラメータを最大 93.62% 大幅に削減することを示しています。

要約(オリジナル)

Fine-tuning large-scale pre-trained models via transfer learning is an emerging important paradigm for a wide range of downstream tasks, with performance heavily reliant on extensive data. Federated learning (FL), as a distributed framework, provides a secure solution to train models on local datasets while safeguarding raw sensitive data. However, FL networks encounter high communication costs due to the massive parameters of large-scale pre-trained models, necessitating parameter-efficient methods. Notably, parameter efficient fine tuning, such as Low-Rank Adaptation (LoRA), has shown remarkable success in fine-tuning pre-trained models. However, prior research indicates that the fixed parameter budget may be prone to the overfitting or slower convergence. To address this challenge, we propose a Simulated Annealing-based Federated Learning with LoRA tuning (SA-FedLoRA) approach by reducing trainable parameters. Specifically, SA-FedLoRA comprises two stages: initiating and annealing. (1) In the initiating stage, we implement a parameter regularization approach during the early rounds of aggregation, aiming to mitigate client drift and accelerate the convergence for the subsequent tuning. (2) In the annealing stage, we allocate higher parameter budget during the early ‘heating’ phase and then gradually shrink the budget until the ‘cooling’ phase. This strategy not only facilitates convergence to the global optimum but also reduces communication costs. Experimental results demonstrate that SA-FedLoRA is an efficient FL, achieving superior performance to FedAvg and significantly reducing communication parameters by up to 93.62%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google