Conquering the Communication Constraints to Enable Large Pre-Trained Models in Federated Learning

要約

Federated Learning (FL)は、ローカルデバイス上の生データに集中的にアクセスすることなく、モデルの協調学習を可能にする有望なパラダイムとして登場した。典型的なFLパラダイム（例：FedAvg）では、モデルの重みは、参加クライアントに対して、各ラウンドごとにサーバーとの間で送信される。最近、事前に訓練された小さなモデルの使用は、連合学習の最適化と収束の改善に効果的であることが示されている。しかし、最新の事前学習済みモデルは、性能が向上している一方で、パラメータが多くなっている。従来のFLでは、膨大なモデルの重みを共有することは、特に、より高性能なモデルを採用した場合、すぐにシステムに膨大な通信負荷をかけることになる。このような強力で容易に利用可能な事前学習済みモデルをFLで利用し、優れた性能を達成すると同時に、通信負荷を軽減する解決策を見出すことはできないだろうか？この目的のために、我々は連合学習におけるパラメータ効率の良い微調整の利用を調査し、新しいフレームワークを導入する：FedPEFTである。具体的には、様々なクライアントの安定性、データ分布、プライバシーの差分設定にわたってFedPEFTの性能を系統的に評価する。モデルの重みのごく一部を局所的にチューニングし、グローバルに共有するだけで、幅広い連携学習シナリオにおいて、競争力のある、あるいはそれ以上の性能を維持しながら、総通信オーバヘッドの大幅な削減を達成することができ、実用的で効果的な連携システムのための新しいパラダイムへの洞察を提供する。

要約(オリジナル)

Federated learning (FL) has emerged as a promising paradigm for enabling the collaborative training of models without centralized access to the raw data on local devices. In the typical FL paradigm (e.g., FedAvg), model weights are sent to and from the server each round to participating clients. Recently, the use of small pre-trained models has been shown effective in federated learning optimization and improving convergence. However, recent state-of-the-art pre-trained models are getting more capable but also have more parameters. In conventional FL, sharing the enormous model weights can quickly put a massive communication burden on the system, especially if more capable models are employed. Can we find a solution to enable those strong and readily-available pre-trained models in FL to achieve excellent performance while simultaneously reducing the communication burden? To this end, we investigate the use of parameter-efficient fine-tuning in federated learning and thus introduce a new framework: FedPEFT. Specifically, we systemically evaluate the performance of FedPEFT across a variety of client stability, data distribution, and differential privacy settings. By only locally tuning and globally sharing a small portion of the model weights, significant reductions in the total communication overhead can be achieved while maintaining competitive or even better performance in a wide range of federated learning scenarios, providing insight into a new paradigm for practical and effective federated systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL